Senior RL Researcher

В Центре Робототехники Сбера мы занимаемся созданием универсального воплощенного ИИ, который способен управлять разнообразными физическими воплощениями, в частности манипуляторами, мобильными колесными роботами и роботами-собаками. Кроме этого, одним из ключевых направлений нашей работы является разработка антропоморфного робота общего назначения.

Обязанности

• Настраивать процесс обучения нейронных сетей
• Написание пайплайнов обучения на кластере
• Настраивать окружение в симуляторе IsaacSim (В частности, IsaacLab)
• Проводить валидирование решений на роботе
• Писать качественный код

Требования

• Разбираетесь в обучении с подкреплением, локальных планировщиках для навигации, LLM/VLM/VLA, в исполнении и обучении нейронных сетей (не менее 3х):

PyTorch

Глубокое понимание теоретических основ RL: MDP/POMDP, Bellman equations, Value/Policy Iteration, методы Policy Gradient, Actor-Critic методы

Понимание model-based RL как работают алгоритмы DreamerV3, TDMPC2

Опыт применения VLM/VLA в проектах

Понимание проблем RL: exploration/exploitation dilemma, credit assignment, sparse rewards, partial observability, stability of learning.

Опыт работы с фреймворками RL: Stable Baselines3, Gym/Gymnasium (включая создание своих environments).

Практический опыт работы с нейронными сетями (CNN, RNN/LSTM, Transformers) включая их проектирование, обучение и отладку.

Опыт работы с физическими симуляторами роботов: PyBullet, MuJoCo, Isaac Sim (NVIDIA Omniverse), Gazebo (Что-то одно)

Опыт работы над локальными планировщиками для навигации DWA, MPC, MPPI (Nav2)

• Можете не только воспроизвести научную статью, но и улучшить
• Обладаете хорошими навыками разработки на Python
• Знаете Linux, Git, Bash и Docker

Также плюсом будет:

• Опыт доведения исследований до продакшена
• Open-source проекты
• Опыт работы с ROS (Robot Operating System) 1 или 2
• CUDA

Условия

• Дружный и высококвалифицированный коллектив
• Уникальные масштабные проекты, работа в приоритетном направлении
• Достойная заработная плата (оклад + годовая премия)
• Современные рабочие места и программное обеспечение
• ДМС, корпоративная пенсионная программа, страхование от несчастных случаев, социальные гарантии, корпоративные мероприятия
• Высокий уровень корпоративной культуры
• Работа в офисе (г. Москва, метро Кутузовская), возможность гибридного графика