Data Scientist в команду SDT Pretrain

Мы создаем технологии автономного вождения. У нас накоплены петабайты данных с проездов, которые нужно превратить в полезный датасет для обучения. Твоя задача — не просто сидеть в Jupyter, а провести анализ и реализовать пайплайны для тегирования сложных дорожных ситуаций.

Чем предстоит заниматься:

• Разработка пайплайнов и эвристик: разработка пайплайнов с использованием методов математической статистики, ML/DL, CV, LLM/VLM и программирования (Python, SQL) для тегирования данных;
• Пайплайны обработки данных: Оборачивание разработанных алгоритмов обработки в воспроизводимые пайплайны для массовой обработки исторических и новых данных (Dagster);
• Работа с данными: Организация эффективного чтения/записи результатов в S3, версионирование экспериментов и датасетов через ClearML.

Что мы ждем от кандидата:

Python & ML Core & CV:

• Отличное знание Python, PyTorch;
• База по Computer Vision (детектирование, сегментация, трекинг объектов).

Работа с данными:

• Опыт обработки больших объёмов данных: pandas, numpy, Scikit-learn, XGBoost, SQL или аналоги;
• Опыт использования библиотек визуализации (Matplotlib, Seaborn);
• Умение работать с Docker.

Инструментарий:

• Опыт работы с системами трекинга экспериментов (ClearML / MLFlow);
• Опыт работы с оркестраторами: Dagster;
• JupyterHub, как среда для прототипирования.

Будет плюсом:

• ML: Понимание архитектур трансформеров и опыт работы с LLM / VLM (CLIP, LLaVA, GPT-4V API или open-source аналоги);
• Опыт в Autonomous Driving: Понимание сенсорики (Lidar, Radar, Camera) и специфики данных (rosbag, pcap и т.д.);
• Data Engineering: Опыт работы с Spark для препроцессинга данных, ClickHouse/Metabase для поиска и записи данных.