Data Engineer (МТС Веб Сервисы, КИОН)

КИОН — это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. В пуле originals онлайн-кинотеатра KION такие известные кино-сериальные проекты как «Хрустальный», «Почка», «Пингвины моей мамы», «Секреты семейной жизни», «Дуров», «Клиника счастья» и многие другие.

Чем мы занимаемся:

• Проектируем и разрабатываем data pipelines для обработки больших объемов данных о просмотрах, поведении пользователей и контенте;
• Строим и поддерживаем Data Lake и Data Warehouse для аналитики и ML-моделей;
• Создаем ETL/ELT процессы для интеграции данных из различных источников (CRM, биллинг, внешние API);
• Разрабатываем инфраструктуру для real-time обработки данных и стриминга;
• Оптимизируем хранение и доступ к данным для аналитических и ML задач.
  
  Наш стек:
  Python, Apache Airflow, Kafka, ClickHouse, PostgreSQL, Redis, S3, Docker, Kubernetes.

Чем предстоит заниматься:

• Проектирование и разработка ETL/ELT pipelines (Apache Airflow);
• Построение и оптимизация Data Warehouse (ClickHouse);
• Разработка систем потоковой обработки данных (Kafka);
• Создание и поддержка витрин данных для аналитики и ML;
• Мониторинг качества данных и data governance.

Что мы ожиаем:

• Опыт работы с Python 3 (у нас 3.11) от 3 лет;
• Глубокое знание SQL и опыт работы с большими данными;
• Опыт работы с Apache Airflow или аналогами (Luigi, Prefect);
• Опыт проектирования и разработки ETL/ELT процессов;
• Знание принципов построения Data Warehouse и Data Lake;
• Опыт работы с колоночными БД (ClickHouse);
• Опыт работы с Git;
• Понимание принципов CI/CD для data pipelines;
• Знание best practices в области data engineering.
• Будет плюсом:
• Опыт работы с Kafka и потоковой обработкой данных;
• Знание принципов DataOps и MLOps;
• Опыт оптимизации запросов и хранения в ClickHouse.

Будет плюсом:

• Опыт работы с Polars или Pandas;
• Опыт работы с StarRocks или Trino.

Что мы предлагаем:

• Оклад + годовой бонус.
• Программа ДМС с первого месяца работы - это 100% покрытие расходов в частных клиниках, включая стоматологию. Застраховать близких родственников можно со скидкой 50%. Для любителей путешествий - страховка в поездках за границу. А еще есть страхование жизни.
• Очное и онлайн-обучение в Корпоративном университете, у внешних провайдеров, если это полезно для работы, обмен опытом во внутренних профессиональных сообществах, а также доступ к онлайн-библиотеке в полезными книгами и периодикой.
• Оплачиваемые выходные на значимые события в жизни сотрудника.
• Материальная помощь в сложных жизненных ситуациях.
• Корпоративная мобильная связь + интернет, а так же единая подписка МТС Premium (онлайн кинотеатр KION, сервис МТС Music, МТС Строки и т.д.)
• Предложения от партнёров для путешествий, развлечений и занятий спортом.
• Возможность участия в волонтерских программах: мы организуем благотворительные ярмарки, образовательные проекты для детей, конкурсы социальных проектов и экологические проекты.
• Внутренняя спортивная программа «В движении» : забеги, марафоны, турниры по разным видам спорта, медитации и занятия на баланс