Аналитик данных (дата инженер)

Мы - команда аналитики маркетплейса. Каждый день мы обрабатываем сотни терабайт данных для проведения исследований, АВ-экспериментов, обучения ML-моделей и построения отчетности. Ищем в команду опытного инженера данных, который сможет усилить нашу экспертизу в построении ETL и хранилищ данных, а так же настройке кластеров для достижения максимального перфоманса.

Вам предстоит:

• Погружаться в данные, их природу, качество и способ поставки;
• Взаимодействовать от лица команды с платформой данных для организации транспорта и интеграций;
• Отвечать за качество данных, на основании которых формируется ключевая отчетность направления;
• Изучать и транслировать команде аналитики лучшие практики работы с данными;
• Разрабатывать платформенные решение для работы с качеством ml-моделей;
• Сопровождать проекты оптимизации ручного труда аналитиков с потенциалом поработать с AI-driven решениями.

Мы ожидаем:

• Понимание особенностей работы распределенных систем вычислений;

• Опыт написания ETL и DDL для Clickhouse;

• Опыт работы с экосистемой Hadoop (HDFS, Hive, Spark);

• Опыт разработки пайплайнов на Airflow;

• Понимание концепции якорной модели DWH будет преимуществом;

• Опыт проектирования безопасных решений на основе Apache Iceberg будет являться плюсом;

• Опыт написания и оптимизации ETL на Vertica и Trino будет преимуществом.