Senior Data-engineer

«М.ТЕХ» - АККРЕДИТОВАННАЯ ИТ-КОМПАНИЯ В ГРУППЕ «М.ВИДЕО-ЭЛЬДОРАДО». КОМАНДА «М.ТЕХ» разрабатывает более 100 инновационных ИТ продуктов на основе современной микросервисной и облачной инфраструктуры, больших данных, биометрии, ИИ и машинного обучения для улучшения качества жизни десятков тысяч сотрудников и миллионов покупателей по всей России.

МЫ В ПОИСКЕ SENIOR DATA-ENGINEER в платформенную команду. Тебе предстоит заниматься разработкой и поддержкой инфраструктуры обработки данных: миграция с текущего стека (Greenplum + ClickHouse) на современный (Trino + Iceberg), оптимизацией ETL- процессов, обеспечивать надёжность и производительность pipeline.

Стек: DataLakeHouse на базе Trino+Iceberg, Spark, SQL средний уровень, Python, ClickHouse, Airflow.

ТЕБЕ ПРЕДСТОИТ:

• Участвовать в проекте внедрения новой архитектуры DataLakeHouse на базе Trino+Iceberg;
• Создавать свой ETL движок;
• Оптимизировать текущее аналитическое хранилище (текущий размер 90+ Тб);
• Мигрировать ключевые потоки (более 300) на новый ETL движок;
• Автоматизировать принятие решения по всем остальным пайплайнам более 1200.

ЧТО МЫ ОЖИДАЕМ ОТ КАНДИДАТА:

• Опыт работы Data Engineer от 3 лет;
• Умение составлять SQL-запросы на продвинутом уровне: сложные запросы, оптимизация, работа с партициями, индексами;
• Работа с фреймфорком Spark;
• Уверенное владение Python (обработка данных, скрипты, API);
• Опыт настройки Trino, написания запросов, понимания особенностей выполнения;
• Навыки работы с Iceberg — понимание формата, опыт работы с таблицами, версиями, транзакциями;
• Опыт работы с ClickHouse — глубокое понимание архитектуры, оптимизация запросов, настройка кластеров;
• Навыки владения Airflow — разработка DAG, настройка исполнителей, мониторинг.

ЧТО ТЫ ПОЛУЧИШЬ:

• Продукты, признанные на рынке (несколько премий за Лучший Интранет, хит-парад премий за лучшее ИТ-решение в ритейле) и имеющие амбициозные планы на развитие;
• Конструктивный диалог и возможность внедрять свои идеи, если они способствуют достижению общего результата;
• Команду увлеченных профессионалов, которая открыта к поиску нового;
• Конкурентную заработную плату, гибкое отношение к рабочему месту (посещение офиса в Москве на гибриде (Сколково, БЦ Орбион), но ты можешь работать удаленно );
• ДМС со стоматологией.