Data Engineer

Обязанности:

• Разработка витрин данных на базе ClickHouse

• Работа с базами данных PostgreSQL

• Написание скриптов на Bash и Python для автоматизации процессов

• Работа в командной строке Linux

• Разработка и сопровождение ETL-процессов в Apache Airflow

• Участие в проектировании архитектуры хранилища данных (ЕХД)

• Взаимодействие с аналитиками и разработчиками для уточнения требований к витринам данных

• Использование и настройка Docker-контейнеров

Требования:

• Уверенное знание SQL, опыт написания сложных запросов и их оптимизации

• Опыт работы с ClickHouse и PostgreSQL от 1 года

• Знание Python (для автоматизации и ad-hoc задач)

• Уверенные навыки работы в Linux-среде

• Понимание принципов контейнеризации, опыт с Docker

• Опыт работы с Apache Airflow (создание DAG, отладка, мониторинг)

• Опыт построения и сопровождения хранилищ данных и витрин — будет плюсом

• Навыки работы с Git и понимание CI/CD процессов

Технологический стек:

DWH, SQL, Python, Airflow, ClickHouse, Tableau