Lead Data Engineer / Data Engineering Lead (Apache Spark, Spark Streaming)

Команда разработки внутренних решений для маркетинга ищет Data Engineering Lead. Они развивают хранилище данных и автоматизируют запуск маркетинговых акций и промо-активностей компании. В работе используют современные технологии и создают как пользовательские сервисы, так и внутренние системы для маркетологов.

Стек: Apache Spark, Spark Streaming, Kafka, Airflow, Python (плюсом Scala / Go), Data Lake (S3 + Iceberg + Trino), dbt, Docker, Kubernetes.​​​​​​​

Обязанности:

• Руководство командой: управление группой дата инженеров, постановка задач, контроль качества и сроков, проведение code review, наставничество и развитие специалистов

• Развитие дата-платформы: проектирование и развитие Data Lake (s3 + Iceberg + Trino / Spark + dbt), организация слоев (Bronze/Silver/Gold), моделирование данных, обеспечение масштабируемости

• Стандартизация и best practices: формирование и внедрение общих стандартов и подходов, единых подходов к ETL/ELT, управлению схемами и документацией

• Интеграции и пайплайны: разработка и поддержка пайплайнов данных, обеспечение качества и доступности данных для аналитиков.

• Data Quality и Governance: Поддержка и развитие системы мониторинга целостности и качества данных. Активная коллаборация с владельцами источников данных

Требования:

• Опыт работы в лидской позиции от 2-х лет

• Опыт работы дата инженером от 5 лет

• Глубокое понимание принципов проектирования архитектуры хранилища данных (Kimball, Medallion, OBT)

• Python (будет плюсом Scala / Go)

• Отличное понимание Airflow

• Экспертный опыт работы с Apache Spark, Spark Streaming, Kafka

• Опыт работы с docker, k8s, docker-compose, CI/CD пайплайнами

• Опыт активного взаимодействия с командами - аналитиками, DevOps, разработкой. Умение находить общий язык с бизнес пользователями

• Большим плюсом будет опыт работы с dbt

Условия:

• Гибкое начало рабочего дня; график 5/2, 8-часовой рабочий день
• Возможность работы в офисе на Кипре (если вы уже на острове) или удаленно из любого комфортного ГЕО
• Заработная плата устанавливается по итогам финального собеседования с успешными кандидатами
• Отсутствие ненужной бюрократии; возможность напрямую влиять на продукт
• Интересные задачи, перспективные проекты, продвинутые технологии.