Анализ и оценка качества ответов RAG-ассистентов.
Разработка, тестирование и оптимизация промтов для улучшения релевантности генерируемых ответов.
Работа с базами знаний: обогащение, структурирование, чистка данных.
Подготовка метрик и отчётов по эффективности RAG-систем.
Взаимодействие с командой Data Science и ML-инженерами для улучшения алгоритмов поиска и генерации.
Разработка и внедрение новых методик оценки качества генерации и ретривера.
Создание шаблонов промтов и библиотеки успешных кейсов использования.
Аналитический склад ума, способность находить закономерности и выявлять проблемы в данных.
Опыт составления промтов и экспериментов с LLM (ChatGPT, Gemini, Llama,YaGPT) обязателен .
Базовое понимание принципов работы ИИ и машинного обучения, особенно в контексте LLM и RAG-архитектур.
Знание Python на уровне написания скриптов для анализа данных, работы с API.
Уверенное использование инструментов работы с текстом и данными (например, pandas, numpy, JSON, SQL).
Опыт работы с векторными БД и эмбеддингами будет преимуществом.
Опыт работы с Yandex Foundation Models желателен.