Senior Research Engineer (Multimodal Diffusion & RLHF)

Исследуем и внедряем передовые методы для инструктивного редактирования изображений/видео, интеграции аудио в видео-генерацию и повышения качества за счет RLHF (Reinforcement Learning from Human Feedback).

Обязанности

• разработка и обучение диффузионных моделей для инструктивного редактирования видео и изображений
• исследование архитектур для совместной генерации видео и синхронизированного аудио по текстовому промпту
• создание пайплайна RLHF для тонкой настройки моделей:

1. обучение мультимодальных reward-моделей (видео/аудио/текст).
2. интеграция алгоритмов RL (PPO, DPO, GRPO) в диффузионный пайплайн

• проектирование экспериментов, анализ результатов
• тесная коллаборация с Distributed Engineers для эффективной имплементации идей.

Требования

• сильный бэкграунд в CV, генеративных моделях (Diffusion, GANs), мультимодальном ML
• опыт работы с диффузионными моделями (Stable Diffusion/FLUX, Wan 2.X и пр.) и фреймворками (Diffusers)
• практические знания Reinforcement Learning, особенно RLHF
• уверенное владение PyTorch и навыки распределенного обучения (DDP/FSDP)
• способность быстро прототипировать и проводить исследования SOTA методов
• бонус: Опыт с аудио-генерацией (AudioLDM, MusicGen), публикации на NeurIPS/ICML/CVPR
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Условия

• ежегодный пересмотр зарплаты, годовую премию
• корпоративный спортзал и зоны отдыха
• уникальную систему обучения Сбера для профессионального развития
• расширенный ДМС и льготное страхование для семьи
• бесплатную подписку СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративную пенсионную программу.