Продуктовый аналитик (GigaChat Data Alignment)

Мы - команда ML-инженеров GigaChat Data. Наша команда готовит данные для обучения всей линейки моделей LLM GigaChat (Text, Vision, Audio, Embeddings и др.). Мы собираем данные как для базовых моделей, так и для их адаптации под конкретные сценарии:

• B2C-направление: веб-версия GigaChat и другие платформы
• внутреннее использование: автоматизация банковских операций, обработка финансовой документации, аналитика внутренних сервисов и поддержка персонала
• корпоративные проекты: разработка кастомизированных решений для внешних заказчиков, внедрение технологий LLM в бизнес-процессы компаний-партнёров.

Что предстоит делать

• анализировать пользовательский фидбэк и логи общения пользователей с моделью: собирать и кластеризовать отзывы, запросы и дизлайки; выявлять паттерны неудовлетворенности продуктом; придумывать способы решения выявленных проблем

• замерять метрики продуктовой эффективности: считать базовые метрики продукта: DAU/MAU, Retention Rate; сравнивать работу GigaChat в различных сценариях с другими решениями на рынке

• запускать A/B-эксперименты для оценки качества работы модели: формировать гипотезы, придумывать дизайн тестовых и контрольных групп; анализировать результаты экспериментов

• заниматься задачами разметки: создавать проекты разметки; контролировать качество работы разметчиков

• заниматься предобработкой и валидацией данных: писать пайплайны для сбора и очистки больших объёмов сырых данных

• собирать обучающие датасеты: формировать выборки для Supervised Fine-Tuning (SFT), Reinforcement Learning (DPO, PPO, GRPO); оптимизировать стратегии сбора данных для повышения эффективности обучения.

Для нас важно

• свободное владение Python: опыт работы с библиотеками pandas, NumPy и т.п.
• понимание продуктовых метрик и метрик оценки качества больших языковых моделей (LLM)
• опыт с LLM-моделями: практическая работа с Llama, Mistral, Qwen, Google Gemini, OpenAI GPT, Anthropic или аналогами
• опыт в продуктовой аналитике, базовое знание статистики.

Мы предлагаем

• крупнейшее DS&AI community — более 600 DS-специалистов банка
• дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
• возможность выбрать удобный формат работы: гибрид или офис
• комфортный современный офис: ст. м. Кутузовская, пр. Кутузовский, 32
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека выгоднее до 7% для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.