Data Engineer ML

Чем предстоит заниматься:

• Разработка и оптимизация ETL пайплайнов;
• Реализация витрин данных на Spark;
• Оптимизация вычислений и работа с узкими местами платформы;
• Построения и развитие архитектуры платформы;
• Перенос моделей машинного обучения в прод;
• Взаимодействие с Data Scientist командой;
• Coding, refactoring, code review;
• Сбор и подготовка данных для обучения моделей, развитие feature store.

• Опыт работы в роли Data engineer от 3 лет;

• Знание Python (Scala или Java);

• Отличное знание SQL, опыт работы с реляционными БД (GreenPlum/PostgreSQL, Oracle);

• Опыт работы c Spark, Hadoop, Hive;

• Опыт работы с Airflow.

Будет плюсом:

• Знание алгоритмов, библиотек ML, статистического анализа;

• Опыт работы с Docker, ClickHouse;

• Опыт построения CI/CD в gitlab, дашборды в Grafana с разными БД.

• Работа в крупнейшем в России интегрированном провайдере цифровых решений;
• Возможна полная или частичная удаленная работа из России;
• В Москве - БЦ Академик, победивший в номинации лучший проект «Бизнес-центр класса А. Москва» Возможность работать из офисов в городе Краснодар и Новосибирск.
• Официальное оформление — согласно ТК РФ (полный соц. пакет: ежегодный оплачиваемый отпуск 28 календарных дней, оплата больничных);
• Официальная заработная плата (оклад и премии);
• Кафетерий льгот: ДМС, компенсация транспорта, интернета, спорта, обучения и др.;
• Корпоративное обучение: внутренние митапы, участие в конференциях, доступ к корпоративным библиотекам технической и бизнес литературы.