MLOps в Яндекс Еду

Мы создаём и улучшаем инструменты для анализа больших объёмов данных и «умного» прогнозирования. Регулярно общаемся с пользователями наших сервисов, чтобы оптимизировать работу с данными и обучение моделей.

Наша цель — выстроить эффективные процессы внутри компании. Для этого мы автоматизируем работу с данными и «умными» алгоритмами, а также настраиваем работу сервисов и процессов в экосистеме Яндекса.

Вы будете участвовать в создании и улучшении инструментов для работы с данными. Ваша задача — помогать нам развивать и оптимизировать аналитическую и ML-инфраструктуру.

Какие задачи вас ждут:

Развитие модели здоровья ML-сервисов
Вам предстоит работать с системой мониторингов, которая следит за тем, чтобы сервис работал должным образом. Ожидания включают стандартные технические показатели для бэкенд-сервисов (свободное место на диске, доля «пятисоток», тайминги ответов сервиса и другие), а также специфические для ML показатели (свежесть поставки данных, корректность расчётов внутренних витрин данных, полнота данных в ответах сервиса).

Поддержка и развитие средства диагностики рекомендаций
Вы будете поддерживать и развивать инструмент для диагностики рекомендаций. Этот инструмент основан на большом количестве различных сигналов (сессия пользователя, клики, покупки, просмотры, информация о блюде, о товарах ритейла и так далее) и визуально показывает все шаги работы рекомендательной системы с различной отладочной информацией.

Развить инфраструктуру для реактивной поставки сигналов
Рекомендательные системы учитывают историю действий пользователя в приложении. Возможность доставлять события с задержкой до нескольких секунд позволит учитывать предпочтения пользователя в рамках сессии и повысить качество рекомендаций. Проект предполагает разработку стриминга событий на базе Flink, хранение и раздачу профилей пользователей из key-value-хранилищ Яндекса.

Мы ждем, что вы:

• Понимаете ML и концепции MLOps на базовом уровне
• Разрабатывали бэкенд-сервисы на Python, C++, Java или Go
• Знаете или готовы освоить C++
• Обрабатывали большие объёмы данных (Hadoop, Spark, Hive)

Будет плюсом, если вы:

• Работали с ML-сервисами в продакшне
• Писали стриминговые приложения (Spark Structured Streaming, Flink или Kafka Streams)
• Работали в инфраструктурной команде