Инженер данных/Data engineer (онлайн-сервис ТВ)

Сегодня билайн — компания изменений, чутко реагирующая на потребности рынка и людей. А ещё билайн — это команда, объединённая общими ценностями и общей целью — быть лидером телеком и digital рынков, предоставляя нашим клиентам новейшие продукты и услуги, а также сервис самого высокого уровня.

Сейчас у вас есть возможность присоединиться в роли Data Engineer к команде на крупный проект, связанный с созданием и развитием онлайн-сервиса для просмотра ТВ/видео контента!

Итак, вам предстоит:

• Разработка и сопровождение ETL-пайплайнов на базе Apache Spark
• Миграция процессов с Oozie на Airflow или Capybara (внутренний аналог)
• Подключение новых источников данных, обработка и агрегация больших объёмов данных
• Автоматизация контроля качества данных, валидации, мониторинга потоков данных
• Оптимизация процессов выгрузки и трансформации данных для аналитиков
• Разгрузка Qlik (перенос тяжёлых задач в Spark/Capybara)

Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:

• Опыт работы в роли Инженера данных от 2 лет
• Уверенное знание Spark/Airflow
• Уверенное владение SQL (в том числе оптимизация под Hive)
• Понимание принципов работы Hadoop/HDFS, распределённого хранения
• Опыт автоматизации процессов и мониторинга (Airflow, аналогичные системы)
• Умение читать и поддерживать чужой код, писать техническую документацию

Будет плюсом:

• Опыт миграции пайплайнов с Oozie
• Опыт интеграции BI-систем (Qlik, Tableau и т.д.)
• Навыки DevOps-инфраструктуры: Docker, K8s, мониторинг

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию
• Срочный трудовой договор
• Дистанционный формат работы на территории РФ
• Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом
• Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок
• Внешнее и внутреннее обучение, участие в митапах и конференциях
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках
• Корпоративные скидки на товары и услуги от партнеров компании
• Компенсацию ваших затрат на занятия спортом в размере 30% от стоимости абонемента
• Служебную сотовую связь