Data Engineer (junior+)

Описание вакансии

Задачи:

Оркестрация процессов: Разработка, поддержка и оптимизация DAG-ов в Apache Airflow. Создание динамических дагов, управление зависимостями и SLA;
Разработка ETL/ELT пайплайнов: Организация загрузки данных из разнородных источников (REST API, Kafka, DB, S3/HDFS) в хранилище;
Обработка больших данных (Spark): Использование PySpark для "тяжелых" трансформаций, очистки и подготовки данных перед загрузкой в ClickHouse (если логика слишком сложна для SQL);
Работа с ClickHouse: Загрузка подготовленных данных в CH, создание базовых витрин данных (DDL таблиц, простые View) для передачи аналитикам;
Обеспечение качества данных: внедрение проверок на всех этапах пайплайна, мониторинг свежести и корректности данных.

Ожидаем:

Python: Уверенное владение языком (OOP, requests, pandas/numpy, sqlalchemy). Умение писать чистый, тестируемый и поддерживаемый код;
Apache Airflow и ELT/ETL: Опыт разработки и поддержки сложных пайплайнов в Airflow. Понимание принципов построения DWH. Практический опыт реализации инкрементальных загрузок и создания идемпотентных процессов обработки данных. Умение синхронизировать данные между несколькими системами;
Apache Spark (PySpark): Опыт написания джобов для пакетной обработки данных;
SQL и ClickHouse: Уверенное знание SQL. Умение создать таблицу в ClickHouse, выбрать подходящий движок и написать запрос на вставку/выборку данных.

Будет преимуществом:

Условия:

Трудоустройство по ТК РФ, полностью "белая" заработная плата;
График 5/2, работа по часовому поясу МСК с гибким началом рабочего дня: 9:00 или 10:00;
Удаленку, при желании - возможность посещать наш уютный офис в Москве;
Отсутствие бюрократии. Быстрое согласование: коммуникация с

коллегами в Telegram, митапы в zoom, задачи в Jira, база знаний в

Confluence;
ДМС после прохождения испытательного срока, включая стоматологию;
Спорт и крутые корпоративные мероприятия: Гонка героев, сплав в Уфе

и Карелии, соревнования по футболу, настольному теннису, картингу, беговой клуб и другие.