Data Engineer ML

Data Engineer ML

Мы – РТК ИТ, аккредитованная ИТ компания, оказывающая полный комплекс услуг по разработке и внедрению программных решений.

Каждый день на наших проектах задействовано 4200+ сотрудников, у нас 70+ направлений разработки различных решений. За 11 лет нашей работы мы успешно реализовали более 60 ИТ-продуктов.

Проект - модуль генерации фичей (конструктор).

Мы предлагаем:

- Удаленную работу с гибким началом рабочего дня (на территории РФ);
- Оформление по ТК РФ в аккредитованной ИТ-компании;
- Оклад и годовая премия;
- Кафетерий льгот с возможностью выбора категорий (ДМС или компенсация затрат на медицинские услуги, спорт и т.д.).

Вам предстоит:

- Разработка и оптимизация ETL пайплайнов;
- Реализация витрин данных на Spark;
- Оптимизация вычислений и работа с узкими местами платформы;
- Построения и развитие архитектуры платформы;
- Перенос моделей машинного обучения в прод;
- Взаимодействие с Data Scientist командой;
- Coding, refactoring, code review;
- Сбор и подготовка данных для обучения моделей, развитие feature store.

Нам важны:

- Опыт работы в роли Data engineer от 3 лет;
- Знание Python (Scala или Java);
- Отличное знание SQL, опыт работы с реляционными БД (GreenPlum/PostgreSQL, Oracle);
- Опыт работы c Spark, Hadoop, Hive;
- Опыт работы с Airflow.

Будет плюсом:

- Знание алгоритмов, библиотек ML, статистического анализа;
- Опыт работы с Docker, ClickHouse;
- Опыт построения CI/CD в gitlab, дашборды в Grafana с разными БД.