Мы развиваем AI функционал в продукте, который дает возможность пользователям открывать новый для себя контент и места для интересного времяпрепровождения с учетом их личных предпочтений. Поиск по промпту, предиктивные рекомендации с учетом данных профиля пользователя и социального графа - это и еще многие другие задачи, которыми мы занимаемся.
Наша команда подошли к этапу продуктивизации существующих прототипов, и мы ищем ML/NLP инженера, который поможет улучшить их механики и будет работать вместе с нами над самыми смелыми идеями, проводя исследования и эксперименты по их реализации.
ЧЕМ ПРЕДСТОИТ ЗАНИМАТЬСЯ:
улучшать существующие сервисы поиска и рекомендаций контента и разрабатывать новые;
производить количественные и качественные оценки работы pipeline'ов и принимать на основе метрик решения о дальнейших изменения;
экспериментировать с LLM и подбирать оптимальные методы обучения/дообучения для задач query understanding, NER, классификации;
разрабатывать облегченные модели, заточенные под конкретный домен контента и задачи;
участвовать в разработке ML архитектуры и взаимодействовать с DE для определения оптимальной структуры данных;
много исследовать и экспериментировать в рамках реализации персонализации и предиктивных рекомендаций.
ЧТО НУЖНО ДЛЯ ЭТОЙ РАБОТЫ:
опыт от 2-х лет;
опыт разработки на Python с использование основных data библиотек (pandas, polars, NumPy);
знание SQL на уровне извлечения данных из каталогов для анализа и экспериментов;
уверенная база по классическому ML;
опыт работы с LLM (Prompt Engineering & Tuning);
понимание, как выполнять Fine Tuning, в частности используя PEFT методы (LoRA);
опыт использования ML/DL фреймворков для обучения (PyTorch);
понимания архитектуры трансформеров, в частности BERT и GPT семейств;
понимание, как выполнять Fine Tuning, в частности используя PEFT методы (LoRA);
опыт использования ML/DL фреймворков для обучения (PyTorch);
умение пользоваться docker и инструментами для serving'а моделей (vLLM, Triton, KServe, Ray Serve);
понимание основных метрик, в особенности для классификации и IR (information retrieval), и умение их интерпретировать.
ЧТО МЫ ИСПОЛЬЗУЕМ:
сервисы на Python (FastAPI);
Weaviate для гибридного поиска;
PostgreSQL, MongoDB, RedisSearch;
Airflow, Flink - k8s, VM с GPU A100 80Gb;
serving через vLLM, в планах переход на KubeFLow с KubeRay;
MTS Big Data.
МЫ ПРЕДЛАГАЕМ: