Prompt Engineer

Дирекция мониторинга Agile занимается созданием дашборда для руководителей в Сбере. Мы собираем данные по всем процессам в Банке, анализируем их и предоставляем необходимую информацию для принятия решений.

Мы продолжаем увеличивать охват и глубину мониторинга, поэтому нуждаемся в новых силах. Мы ищем в команду Prompt инженера, который будет создавать данные и описание запроса для LLM-моделей, и следить за их качеством работы.

Обязанности

• Разработка и оптимизация диалоговых сценариев, сложных запросов (prompt-engineering) и примеров ответов для взаимодействия с LLM.
• Оценка качества ответов моделей (ручная и автоматическая), их корректировка, фактчекинг, проверка на этичность и достоверность
• Формирование, систематизация и разметка обучающих данных для улучшения качества моделей
• Внедрение и оптимизация RAG-систем, включая интеграцию векторных баз данных (Pinecone, FAISS) и оценку их эффективности.
• Проведение A/B-тестирования промптов, моделей и подходов к генерации
• Разработка и поддержка базы знаний для LLM, включая актуализацию контента
• Обеспечение мониторинга работы AI-систем, выявление проблемных зон и в разных этапах работы системы
• Написание автотестов для проверки стабильности и качества систем на каждом этапе
• Создание инструкций и рекомендаций по использованию AI в различных сценариях
• Мониторинг трендов в области AI, оценка новых инструментов и технологий.

Требования

• Опыт от 1 года в prompt-инжиниринге или в разработке AI-агентов

• Глубокое понимание LLM (GPT, Llama 2, BERT) и опыт работы с их AP

• Умение калибровать параметры генерации (temperature, top-p, guidance и другие)

• Знание методов: zero-shot, few-shot, chain-of-thought

• Навыки программирования на Python (pandas, API), базовое владение Git.

• Будет плюсом

• Опыт работы с моделями ChatGPT, LLama, Qwen, DeepSeek и их аналогами

• Знание sql

• Умение структурировать документацию и визуализировать процессы.

• Опыт работы с Langchain.

Условия

• комфортный современный офис рядом с м. Кутузовская
• фултайм офис, гибкое начало дня
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.