Главный data-инженер

Ищем опытного Senior Data Engineer для ключевой роли в проекте по построению корпоративного Lakehouse — новой платформы хранения и обработки данных. Вам предстоит ключевое участие в миграции с legacy-систем на Hadoop к современному стеку на базе S3 и StarRocks/Doris и выстраивать надежные, масштабируемые ETL-процессы.

Основные задачи

• участие в проектировании и практическая реализация нового корпоративного on-premise Lakehouse-хранилища на стеке S3-совместимое хранилище + StarRocks/Doris;
• настройка сквозных ETL/ELT-процессов для загрузки данных из Hadoop/Hive, Kafka, PostgreSQL и их трансформации по многослойной модели (raw → агрегаты → витрины);
• миграция данных из действующей систем Hadoop (HDFS, Hive), PostgreSQL) на новую платформу;
• разработка, оптимизация и поддержка высокопроизводительных витрин данных в StarRocks/Doris для аналитики и отчетности;
• настройка базовых механизмов мониторинга качества данных (Data Quality) в пайплайнах;
• проектирование модели хранения и ролевой модели доступа;
• взаимодействие с аналитиками и бизнес-заказчиками для уточнения требований к витринам;
• документирование архитектурных решений и наставничество команды.

Наши ожидания

• от 5 лет опыта в Data Engineering, проектирование и поддержку процессов загрузки и преобразования данных;
• опыт управления рабочей группой;
• экспертный уровень владения SQL (сложные запросы и оптимизация);
• практический опыт миграции на on-premise S3 (MinIO, Ozone, Ceph);
• глубокий опыт работы с высоконагруженными и колоночными OLAP-системами (StarRocks, Doris, ClickHouse или аналогами);
• промышленный опыт построения ETL/ELT-пайплайнов с использованием Apache Spark (Scala)/NiFi/AirFlow/Informatica PC или аналогами;
• опыт работы с контейнерами (Docker) и оркестрацией в on-premise Kubernetes/OpenShift;
• понимание экосистемы Big Data (Hadoop, Kafka, Spark) и принципов работы с реляционными СУБД (PostgreSQL);
• опыт работы с форматами данных (Parquet, Avro) и понимание принципов организации данных в Lakehouse (Iceberg/Delta/Hudi) будет большим плюсом;
• системное и архитектурное мышление, готовность брать ответственность за комплексные решения и результат;
• опыт работы с Jira и Confluence.

Условия:

• официальный доход - оклад + бонус квартальный и годовой; условия с успешным кандидатом готовы обсуждать индивидуально;
• ДМС со стоматологией и международная страховка;
• кафетерий льгот (компенсация ОСАГО, спортивного инвентаря, ДМС близким родственникам и многое другое);
• гибридный график работы;
• офис находится в центре в шаговой доступности от ст. м. Новокузнецкая;
• заряженная команда полного цикла;
• возможность профессионального и карьерного роста.