Middle Data Engineer (Lakehouse / Big Data)

Мы в Magnum развиваем Lakehouse-подход и ищем Middle Data Engineer, который хочет работать на стыке DWH + Data Lake + Analytics и влиять на то, как устроены данные в компании. Мы не просто поддерживаем старое, мы строим новую платформу: внедряем S3-хранилища (MinIO), переходим на Spark и быстрые OLAP-движки (StarRocks/Trino).

В нашей команде вам предстоит:

• Развитие архитектуры: Участие в миграции и построении Modern Data Stack (переход к Lakehouse).
• Работа с Big Data: Проектирование слоев данных в объектном хранилище (MinIO S3) и их обработка через Spark/Trino/Impala.
• Построение витрин: Создание быстрых витрин данных на StarRocks и ClickHouse для бизнеса.
• ETL/ELT: Написание и оптимизация пайплайнов (Airflow + Python/SQL).
• Взаимодействие: Работа с аналитиками и участие в проектировании моделей данных (ODS / DWH / MART).
• Наш технологический стек:
• Storage: MinIO (S3 compatible) — строим Data Lake здесь.
• Compute & Query Federation: Trino, Apache Impala, Apache Spark — для обработки и запросов поверх озера.
• DWH & OLAP: Greenplum (Core DWH), StarRocks, ClickHouse (быстрые витрины), PostgreSQL.
• Orchestration & Code: Apache Airflow, Python, SQL (Expert level).

Важно, чтобы у вас были:

• Опыт работы Data Engineer от 2–3 лет.
• Уверенное владение SQL (оконные функции, оптимизация планов запросов).
• Понимание принципов работы S3-хранилищ и колоночных баз данных.
• Опыт или большое желание работать с экосистемой Hadoop/Spark и MPP-системами.
• Самостоятельность: умение разобраться в чужом коде и сложной бизнес-логике (Retail: транзакции, логистика, ассортимент).

Почему Magnum — это круто:

Современный стек: Мы не застряли в прошлом. Вы будете работать с StarRocks, Trino и Spark — технологиями, которые сейчас в топе рынка.

Масштаб: Миллионы транзакций, реальный Highload и настоящие Big Data.

Влияние: Мы строим Lakehouse, а не просто "пилим отчеты". Ваши решения будут влиять на архитектуру данных всей компании.

Команда: Сильная data-команда и задачи, результат которых сразу виден бизнесу.