Data Engineer (middle or senior)

Разработка и развитие высоко-нагруженной Data платформы.

Состав задач:

- Разработка ETL-процессов на базе прототипов и технических требований;

- Изменение существующих ETL-процессов, согласно меняющимся бизнес-требованиям;

- Продуктивизация кода, DQ-проверок, постановка на регламент, контроль работы ETL-процессов;

- Оптимизация и рефакторинг кода на уровне запросов и конфигураций (SQL/Python/Spark/HDFS);

- Взаимодействие с Системными аналитиками, Инженерами данных, Второй линией поддержки, DevOps, другими смежными подразделениями;

- Оперативное решение инцидентов на уровне третьей линии поддержки;

- Работа с Централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum). Также возможна работа с PostgreSQL, Teradata, Clickhouse и другими БД.

Технический стек: SQL, Python, Hadoop, HDFS, HIVE, Spark, Airflow, Linux CLI, Greenplum или другая MPP-Database, YAML-нотация