Senior ML Engineer (Multimodal LLM/Video Understanding)

Мы core команда, которая отвечает за машинное обучение для понимания аудиоданных во всем Сбере. В прошлом году мы выложили в открытый доступ SOTA модель для распознавания речи на русском языке GigaAM, а этой весной первыми в России запустили нативное понимание звука в LLM: GigaChat Audio

Сейчас мы активно работаем над улучшением мультимодальных свойств GigaChat: рост качества на сложных контекстах из аудио и картинок; понимание видео не только по звуковому потоку, но и кадрам.

Обязанности

• создание пайплайна генерации синтетических Audio+Vision+Text данных из внутренних и открытых моделей
• создание бенчмарков: llm-as-a-judge, авто-метрики
• проведение экспериментов по обучению LLM: тестирование данных и стадий обучения, методы смешивания модальностей

Требования

• python: модульный код, ООП, concurrency, pep, тесты
• понимание этапов обучения и современных архитектур LLM
• понимание методов оценки качества ML-систем
• глубокие теоретические знания в DL
• опыт отладки/обучения в multi-gpu режиме

Будет плюсом

• опыт в Computer Vision / Audio

Условия

• гибридный формат
• конкурентная компенсация (оклад и премии по результатам деятельности)
• ежегодный пересмотр зарплат,
• бесплатный спортзал в офисе и зоны отдыха,
• ДМС, страхование жизни, льготное страхование для семьи,
• возможность профессионального роста по различным карьерным трекам внутри компании,
• профессиональное обучение, семинары, тренинги, конференции,
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+ для сотрудников, скидки на продукты компаний-партнеров,
• вознаграждение за рекомендацию людей в команды Сбера,
• корпоративная пенсионная программа.