DataOps engineer

Innovative People - группа компаний, которая 17 лет предоставляет комплексные услуги в сфере информационных технологий. Так же мы являемся аккредитированной IT- компанией.

Сейчас на проект в продуктовую компанию - одну из лидирующих стриминговых платформ в сфере музыки и потокового аудио приглашаем DataOps инженера.

Сейчас в команде DataOps 3 человека, усиляем команду +1 опытный специалист. Команда DevOps отдельно.

Наш стек: Spark/Trino/Hadoop/ JupiterHub /AirFlow /ETL/ S3/ HDFS /Cassandra

Ближайшие задачи:

• Управление инфраструктурой: создание/удаление/изменение компонентов (SQL/NoSQL базы данных, S3, Kafka и др.)
• Внедрение, настройка и сопровождение data-продуктов
• Постановка сервисов на мониторинг, рефакторинг и оптимизация работы платформы
• Обеспечение подразделений Data Science, Data Engineering, Data Analytics необходимыми IT-ресурсами
• Внедрение инструментов автоматизации для ускорения разработки и повышения качества сервисов
• Организация безопасного доступа к данным

Мы ожидаем, что ты имеешь такой опыт:

• Опыт работы с Kubernetes: деплой через GitOps-инструменты (ArgoCD, FluxCD), сопровождение сервисов, работа с операторами, HPA, CRD, балансировщиками нагрузки
• Опыт работы с облаками (Terraform/Terragrunt/Atlantis)
• Опыт внедрения и сопровождения data-продуктов (Airflow, Trino, Spark, JupyterHub, Kafka и др.) в промышленной эксплуатации
• Опыт сопровождения или внедрения Data-платформ (коробочные или кастомные решения)
• Знание Python/Java на уровне Middle (для разработки несложных задач, например, написания DAG в Airflow)
• Понимание принципов работы Spark/Hadoop (driver/executor, shuffle и т.д.)

Условия работы:

• работу в аккредитованной IT-компании;
• ДМС со стоматологией;
• возможность посещения профильных конференций, семинаров, оплату курсов, необходимых для повышения квалификации;
• бессрочный трудовой договор, полное соблюдение ТК, гибкий старт и окончание рабочего дня;
• удаленный формат работы;
• удобную и мощную технику для работы;
• speaking club по английскому с преподавателем;
• корпоративный мерч

Этапы взаимодействия:

• HR интервью 20 мин
• Техническое интервью с тех.командой 1 час
• Оффер