Middle RL Engineer (SberAI)

Мы в Сбере запускаем новый проект - Embodied AI. Наша цель - стать центром компетенций по использованию новых модальностей при обучении роботов и VLA, упростить сбор подобных данных, а также разработать собственную модель, способную эффективно работать с самыми разными модальностями, включая запахи и прикосновения.

Обязанности

• Проектировать и реализовывать RL‑и имитационные пайплайны для роботов и VLA‑агентов: постановка задач, выбор алгоритмов, дизайн наград, оценка политики
• Разрабатывать и поддерживать инфраструктуру обучения: симуляторы, сценарии, генерация мультимодальных данных (визуальные, сенсорные, тактильные), интеграция с существующими дата‑платформами Сбера
• Адаптировать и дорабатывать state‑of‑the‑art алгоритмы и архитектуры (off‑policy/on‑policy RL, offline RL, imitation learning, VLA‑модели) под конкретные задачи роботов и виртуальных агентов.

Требования

• 2+ года опыта в ML/RL, из них не менее года с фокусом на RL, робототехнику или сложные sequential‑decision задачи
• Уверенное владение математическим аппаратом: математический анализ, линейная алгебра, теория вероятностей
• Продвинутые знания Python и PyTorch: реализация кастомных датасэмплеров и функций потерь
• Понимание принципов Distibuted training
• Глубокое понимание RL: on‑policy/off‑policy, value‑based vs policy‑gradient, entropy regularization, replay buffers, exploration, credit assignment.
• Практика с распространенными алгоритмами (PPO, SAC, TD3, DQN‑семейство, BC, GAIL и др.), умение адаптировать их под нестандартные среды
• Опыт работы с симуляторами и/или реальными роботами: Isaac Gym / Isaac Sim, MuJoCo, PyBullet, Habitat, Unity/Unreal‑симуляции.

Будет большим плюсом

• Опыт разработки на C++ для low-level robotics
• Знакомство с мультимодальными моделями: CLIP, Flamingo‑подобные архитектуры, VLA‑подходы.

Условия

• Комфортный современный офис рядом с м. Кутузовская
• Гибридный формат работы
• Ежегодный пересмотр зарплаты. Годовая премия
• Корпоративный спортзал и зоны отдыха
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• Программа адаптации и помощь руководителя на старте
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера.