Data Engineer/Инженер данных
Data Engineer/Инженер данных
Москва, Причальный проезд, 2А
Метро: ТестовскаяОписание вакансии
Обязанности:
- реализация в тандеме с архитектором физического уровня архитектуры данных в DWH для всех слоев (raw data layer, core data layer, data mart layer);
- реализация ETL-пайплайнов передачи данных из различных внутренних и внешних ИТ-систем, используя разные подходы получения данных из источника;
- построение эффективной системы оркестрации ETL-пайплайнов обеспечивающей обновление данных в DWH согласно обозначенным бизнес требованиям;
- реализация и поддержка прикладных решений для контроля качества данных в DWH;
- реализация и поддержка прикладных решений для управления метаданными DWH;
- участие в R&D для выбора инструментов для построение отдельных частей платформы данных.
-
Опыт работы от 3х лет;
-
базовые навыки в области инженерии данных;
-
системное аналитическое инженерное мышление;
-
умеренный перфекционизм и внимание к деталям;
-
понимание концепций проектирования DWH;
-
продвинутый уровень знания SQL;
-
высокий уровень владения Python для обработки данных;
-
опыт работы с оркестраторами и понимание концепции DAG;
-
опыт разработки и поддержки end-to-end пайплайнов данных;
-
опыт получения данных из различных типов API (REST, GraphQL, SOAP);
-
опыт работы с потоковой обработкой данных (Kafka, Flink, Spark Streaming);
-
умение работать с GIT.
- график работы: на испытательном сроке офис 5/2, далее гибрид;
- ежегодная индексация зарплаты, компенсация питания, премии по результатам работы, доплаты за больничный, материальная помощь в сложных ситуациях;
- релокация из любой точки мира.
Навыки
- Python
- SQL
- DWH
- Git
- Apache Kafka
- Apache Airflow
