Junior Data Engineer в DataHouse [Big Data, МТС Веб Сервисы]

Big Data – место, где телеком данные превращаются в реально работающие IT-продукты. Мы создали и протестировали несколько десятков сервисов. Самые успешные из них уже стали частью экосистемы МТС. Например, МТС Маркетолог, рекомендации в KION (МТС ТВ), услуга “Кто звонит?” или Спам blacklist.

Кого мы ищем?

Junior Data Engineer в DataHouse

DataHouse – data-продукт, который обеспечивает доступ к структурированным (централизованным) данным различных индустрий экосистемы, позволяющим осуществлять основные бизнес-функции компании: подготовка рекламных кампаний, финансовый контроллинг, экосистемная аналитика, построение CLV, клиентский сервис, отчетность.

Что нужно делать?

• Разрабатывать и оптимизировать ETL-процессы на стеке Hadoop
• Делать интеграцию с источниками и анализ данных: исследование новых источников (ClickHouse, Kafka, Oracle, GP), оценка объемов и структуры данных
• Заниматься построением продуктовых витрин в Data Vault: разработка витрин согласно прототипу по бизнес требованиям заказчика
• Разрабатывать DQ-проверки (отслеживание дублей, NULLов, аномалий, настройка алертинга)
• Оптимизировать общие процессы в рамках продукта: рефакторинг кода
• Развивать внутренние библиотеки продукта

Что ждем от кандидата:

• Хорошее знание Python
• Знание SQL на уровне написания сложных запросов (большой вложенности) и оконных функций
• Коммерческий опыт со Spark (PySpark, оптимизация производительности)
• Опыт работы с Airflow (разработка, оркестрация и мониторинг DAGов)
• Опыт работы с Git

Что предлагаем:

• Собственную платформу MTS Ocean для получения ИТ-ресурсов, а это значит, что деплой, мониторинг, observability - не будут для вас проблемой, вы сможете сосредоточиться на фичах
• Профессиональные гильдии инженеров по направлениям, чтобы поддерживать друг друга и обмениваться опытом
• Внутреннюю площадку TechTalks для обмена опытом, дискуссий, развития навыков самопрезентации
• Участие во внешних IT конференциях. Мы выступаем на HighLoad++, DataFest, Mobius, Test Driven Conf, Joker, DevOps, Матемаркетинг и даже проводим собственную конференцию по архитектуре Hello, conference!
• Полезные курсы и вебинары в корпоративном университете и электронные библиотеки
• Медицинскую страховку с 1 месяца со 100% покрытием расходов, включая стоматологию, страхование жизни и здоровья в поездках за рубеж. А еще можно застраховать родственников с корпоративной скидкой
• Единую подписку МТС Premium — KION light в онлайн-кинотеатре KION, сервис МТС Music, 30 дней бесплатного пользования подпиской OZON Premium
• Скидки и предложения от партнеров на фитнес, занятия английским и прочее