Data Engineer, Факторы ранжирования

Группа “Факторов ранжирования” отвечает за весь процесс разработки и внедрения факторов, использующихся в ML-моделях ранжирования в поиске и каталоге: от первичного анализа данных до организации хранения и реализации расчета факторов в поисковом runtime. На текущий момент в группу входят ML-инженеры и разработчики, мы ищем DE, который сможет взять на себя задачи, связанные непосредственно с обработкой данных.

Наш стек: Python, Hadoop, (Py)spark, Clickhouse, Vertica, Airflow, Mlfow, Pytorch, Catboost, Java.

Вам предстоит:

• Разрабатывать пайплайны обработки данных для реализации новых и поддержки существующих факторов ранжирования в поиске и каталоге.
• Реализовать мониторинги для регулярной оценки качества исходных данных, рассчитанных агрегатов и факторов.
• Настраивать загрузку агрегатов и факторов в feature store и поисковый индекс.​​​​​​​

Примеры задач:

• Организация расчетов данных для различных видов факторов ранжирования: под нужды отдельных товарных категорий (одежда, продукты с express-доставкой и др.), с учетом локации пользователя (город, регион, кластер), для достижения различных бизнес-целей компании (снижение сроков доставки заказанных из поиска товаров, достижение более конкурентной цены товаров в поисковой выдаче и др).
• Организация процесса мониторинга и настройка метрик для отдельных факторов и для итоговых скоров моделей ранжирования.
• Оптимизация хранения и процесса расчета факторов за счет разделения на расчет подневных агрегатов в hadoop и вычисления конечных факторов по агрегатам в поисковом runtime.

Мы ожидаем:

• Уверенное знание hadoop-стека, опыт работы с большими данными.
• Опыт разработки ETL-пайплайнов.
• Сильный python.
• Знание базовой математики для понимания основ ML.​​​​​​​​​​​​​​

Как плюс:

• Опыт работы с высоконагруженными системами.
• Опыт разработки на Java.
• Опыт в классическом ML/NLP/рекомендательных системах.

Мы предлагаем:

• Динамичный и быстроразвивающийся бизнес, ресурсы, возможность сделать вместе лучший продукт на рынке e-commerce.

• Свободу действий в принятии решений.

• Достойный уровень заработной платы.

• Профессиональную команду, которой мы гордимся.

• Возможность развиваться вместе с нашим бизнесом.