Data Engineer (МТС Медиа, КИОН)

КИОН — это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. В пуле originals онлайн-кинотеатра KION такие известные кино-сериальные проекты как «Хрустальный», «Почка», «Пингвины моей мамы», «Секреты семейной жизни», «Дуров», «Клиника счастья» и многие другие.

Описание проекта и команды:

Отдел платформеных данных занимается внедрение lakehouse нового поколения,в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop который планируется перевести в поддержку.

Чем предстоит заниматься:

• Разработка и рефакторинг ETL/ELT пайплайнов на pyspark;

• Разработка и поддержка OLAP движков Starrocks/Clickhouse;

• Поддержка текущих пайплайнов на Greenplum и Hadoop;

• Миграция с HDFS на S3;

• Оптимизация Spark-приложений;

• Опыт работы с Python от 3 лет;

• Глубокое знание SQL и опыт работы с большими данными;

• Опыт работы с Apache Airflow

• Опыт проектирования и разработки ETL/ELT процессов;

• Опыт работы с колоночными БД (ClickHouse);

• Знание принципов построения Data Warehouse и Data Lake;

• Понимание разницы между OLTP/OLAP системами;

• Уверенная работа c linux и git;

• Понимание процессов ci/cd;

• Оклад + годовой бонус.
• Программа ДМС с первого месяца работы - это 100% покрытие расходов в частных клиниках, включая стоматологию. Застраховать близких родственников можно со скидкой 50%. Для любителей путешествий - страховка в поездках за границу. А еще есть страхование жизни.
• Очное и онлайн-обучение в Корпоративном университете, у внешних провайдеров, если это полезно для работы, обмен опытом во внутренних профессиональных сообществах, а также доступ к онлайн-библиотеке в полезными книгами и периодикой.
• Оплачиваемые выходные на значимые события в жизни сотрудника.
• Материальная помощь в сложных жизненных ситуациях.
• Корпоративная мобильная связь + интернет, а так же единая подписка МТС Premium (онлайн кинотеатр KION, сервис МТС Music, МТС Строки и т.д.)
• Предложения от партнёров для путешествий, развлечений и занятий спортом.
• Возможность участия в волонтерских программах: мы организуем благотворительные ярмарки, образовательные проекты для детей, конкурсы социальных проектов и экологические проекты.
• Внутренняя спортивная программа «В движении» : забеги, марафоны, турниры по разным видам спорта, медитации и занятия на баланс