Data Engineer

Описание вакансии

Мы являемся международным продуктовым IT-холдингом, работающим над собственными цифровыми продуктами. Наша команда создаёт инновационные решения в области цифровых коммуникаций, интеграции платёжных сервисов и пользовательского дизайна на глобальном уровне. Сейчас мы находимся в поиске Data Engineer в свой дружный коллектив!

Мы гарантируем будущему коллеге:

Высокую заработную плату по итогам интервью
График работы 5/2, 8 часовой рабочий день, гибкое начало с 8:00-10:00;
Оплачиваемый отпуск;
Вид на море из офиса (1 линия) на Кипре;
Релокационный пакет;
Корпоративные уроки английского языка;
Тренажерный зал и СПА в офисе;
Корпоративное питание;
Насыщенная корпоративная жизнь;
Сложные задачи, которые позволят вам полностью раскрыть свой потенциал;
Сильную команду единомышленников, профессионалов, которые будут рядом с вами для реализации амбициозных проектов, а также будут стимулировать ваше профессиональное развитие и привносить опыт.

Требования:

Умение находить оптимальные решения и выбирать подходящие инструменты.
Опыт работы с SQL (сложные запросы + оптимизация);
Опыт работы с Python (общие принципы + библиотеки для DE);
Опыт работы с Kafka, Spark/PySpark, Iceberg, Nessie, TrinoDB;
Опыт работы с Airflow, DBT, ClickHouse (DAG + MV);
Опыт применения фреймворков для мониторинга и валидации данных (Data Quality frameworks).

Обязанности:

Определять и документировать требования к отслеживанию событий для команды разработчиков;
Собирайте необработанные события из Kafka и загружать их в Lakehouse (бронзовый и серебряный слои) с помощью Spark;
Обогащать и агрегировать необработанные данные, преобразуя их в ClickHouse (золотой слой) с помощью Spark;
Создавать готовые к использованию витрины данных с использованием Airflow, DBT и материализованных представлений ClickHouse;
Реализовать проверки качества данных для заданий Spark и групп DAG Airflow;
Поддерживать и развивать инфраструктуру Lakehouse совместно с командой DataOps;
Автоматизировать повторяющиеся задачи и внедрить лучшие практики и стандарты для процессов проектирования данных;
Написание и ведение технической документации.

Если в этом описании вы увидели себя, смелее направляйте резюме!