Data Engineer (МТС Веб Сервисы, Кион)

KION – онлайн-кинотеатр МТС, строим и развиваем современную платформу обработки больших объемов данных и аналитики пользовательской активности. Ищем Data Engineer'а, с которым мы будем вместе развивать наш продукт.

Обязанности

• Разработка, оптимизация и поддержка ETL-процессов для формирования аналитических витрин данных, включая создание и поддержку DAG в Airflow, процедур в Greenplum и пр..
• Обеспечение качества данных (Data Quality) через систему проверок и тестирования.
• Проектирование и оптимизация структур хранения данных в Greenplum, Hadoop(Hive) и Clickhouse.
• Работа с различными источниками данных: Hive, Greenplum, ClickHouse
• Интеграция с внешними системами для обмена данными с использованием Kafka, REST API
• Разработка и внедрение архитектурных решений для аналитических систем
• Создание и поддержка механизмов мониторинга исполнения ETL-процессов

Требования

Обязательные навыки:

• Уверенное владение Python (включая библиотеки для анализа данных)
• Глубокое знание SQL (сложные запросы, оптимизация производительности)
• Опыт разработки ETL-процессов для обработки больших объемов данных с использованием PySpark и/или процедур Greenplum
• Знание принципов обеспечения качества данных (Data Quality)
• Понимание принципов работы кластерных систем хранения и обработки данных (стек hadoop: HDFS, YARN, Hive, Spark), массивно-параллельных СУБД (Greenplum), колоночных СУБД (Clickhouse)
• Опыт работы от 3х лет в области инженерии данных

Будет преимуществом:

• Практический опыт в проектах с BigData
• Опыт работы с Apache Airflow или другими оркестратором задач по обработке данных.
• Опыт работы с Greenplum и/или другими MPP-системами
• Опыт работы с ClickHouse (понимание особенностей движков таблиц, партиционирования)
• Опыт интеграции с Kafka или другими системами обмена сообщениями
• Понимание принципов CI/CD с использованием Gitlab CI
• Знание и применение принципов SOLID в Python-разработке
• Опыт работы с noSQL базами данных
• Практика работы с Docker и контейнеризацией

• Понимание CDC и практический опыт работы с Debezium

  
  Что мы предлагаем:

• Работу с современным стеком технологий в сфере обработки данных
• Интересные задачи в быстрорастущем цифровом продукте
• Возможность влиять на развитие архитектуры данных компании

• Профессиональный рост и развитие в команде опытных специалистов

• Мы ценим в кандидатах:
• Высокую вовлеченность и проактивность
• Умение быстро разбираться в существующем коде и документации
• Внимание к деталям и качеству решений
• Способность автономно решать сложные задачи
• Открытость к новым технологиям и подходам

Условия

• оклад + годовой бонус;
• программа ДМС с первого месяца работы - это 100% покрытие расходов в частных клиниках, включая стоматологию. Застраховать близких родственников можно со скидкой 50%. Для любителей путешествий - страховка в поездках за границу. А еще есть страхование жизни;
• очное и онлайн-обучение в Корпоративном университете, у внешних провайдеров, если это полезно для работы, обмен опытом во внутренних профессиональных сообществах, а также доступ к онлайн-библиотеке в полезными книгами и периодикой;
• оплачиваемые выходные на значимые события в жизни сотрудника;
• материальная помощь в сложных жизненных ситуациях;
• корпоративная мобильная связь + интернет, а так же единая подписка МТС Premium (онлайн кинотеатр KION, сервис МТС Music, МТС Строки и т.д.);
• предложения от партнёров для путешествий, развлечений и занятий спортом;
• возможность участия в волонтерских программах: мы организуем благотворительные ярмарки, образовательные проекты для детей, конкурсы социальных проектов и экологические проекты;
• внутренняя спортивная программа «В движении» : забеги, марафоны, турниры по разным видам спорта, медитации и занятия на баланс.