Data Engineer

Selecty находится в поиске Инженера по данным в штат крупной ИТ компании

Предполагается удаленный формат работы.

Ваши задачи:

• Написание пайплайнов по работе с данными с использованием Airflow, Spark

• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana;

• Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью;

• Будет плюсом: опыт работы с ML, выведения ML моделей в продакшн.

Требования

• Опыт в применении основных подходов к распределенной обработке больших данных (MapReduce, MPP, etc);

• Опыт в применении основных подходов и практик проектированию OLAP баз данных;

• Знание языков программирования Python (Java, Scala);

• Знание SQL;

• Знание основных рабочих инструментов: Hadoop, Hive, Spark, Airflow, PostgreSQL, Git, Docker;

• Знание Greenplum, Clickhouse;

• Знание Kafka;

• Знание K8S.

Условия

• Официальное оформление с белой ЗП, ежеквартальные премии по результатам работы;

• Гибкий график работы;

• Возможность работать удалённо или в гибридном формате;