Data Engineer Python + Spark / Инженер по обработке данных

Мы в Rubbles занимаемся разработкой и внедрением DS-продуктов в крупные бизнесы. Например, системами предсказания спроса на товары в ритейле и fmcg, рекомендательными системами, системами предсказания поломок оборудования, поисковыми системами для онлайн-магазинов, системами оптимизации производства в промышленности, цифровыми двойниками и многим другим. Алгоритмы Rubbles ежедневно улучшают работу крупнейших банков, ритейл-сетей, нефтегазовых компаний и других предприятий.

Мы ищем Data Engineer'ов для участия во внутренних проектах на стадии presale. Основные обязанности будут включать в себя переосмысление и оптимизацию текущих витрин данных, генерацию данных, разработку новых ETL-процессов, а также сбор и анализ требований от различных команд внутри компании.

Обязанности:

• Разработка и поддержка пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow);
• Разработка коннекторов к системам-источникам данных и системам-потребителям;
• Организация потоков данных в рамках микросервисной архитектуры платформы;
• Разработка схемы данных компонентов платформы в едином информационном поле;
• Работа c различными системами хранения (Clickhouse, PostgreSQL, Redis);
• Разработка пайплайнов с Kafka;
• Написание генераторов тестовых данных;

Минимальные требования:

• Опыт коммерческой разработки на Python от 3х лет;
• Сильные софт скиллы и умение коммуницировать между командами;
• Знакомство с основным big data стэком – Spark, Hadoop.
• Опыт работы с Airflow;
• Опыт работы с k8s;
• Уверенное знание SQL;
• Умение работать с командной строкой Linux/MacOS;
• Умение вести проекты в Git;

На что ещё смотрим:

• Опыт работы с MPP – системами и с колоночными хранилищами данных.
• Английский язык – уровень B1.

У нас

• Работа в одной из самых сильных ML команд в России;

• Участие в росте компании, работающей на перспективном AI рынке;

• Гибкий график работы;

• Гибкий формат работы: полная удаленка (в том числе вне РФ)/гибрид/офис в Мск.

• Поддержка в профессиональном и карьерном росте, оплата профильного обучения, конференций и книг, корпоративные скидки на курсы английского;

• Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;

• ДМС со стоматологией после испытательного срока (3 месяца) по всей России;

Особенно актуальное:

• Мы аккредитованная ИТ-компания со всеми вытекающими льготами.