Data Engineer (Корпоративное хранилище данных)

Москва, Хорошёвское шоссе, 32А

Метро: Беговая

Показать контакты

Описание вакансии

Обязанности:

Разработка, запуск и поддержка ETL/ELT-пайплайнов с использованием Apache Airflow: загрузка данных из источников (АБС, CRM) в Staging Area (PostgreSQL) и их последующая трансформация в ODS, DDS и витрины данных (Data Marts);
Моделирование, оптимизация и трансформация данных в PostgreSQL:
Проектирование и поддержка структур данных в слоях ODS, DDS и витрин (Data Mart).

Реализация бизнес-логики трансформации данных, в том числе с использованием dbt (Data Build Tool).

Оптимизация производительности: работа с индексами, партиционированием, анализом планов запросов;
Обеспечение надёжности, качества и безопасности данных в КХД:
Настройка мониторинга пайплайнов и инфраструктуры (Grafana, Prometheus), реализация процедур восстановления.

Внедрение процессов валидации и контроля качества данных на всех этапах ETL/ELT.
Реализация требований безопасности: настройка Row Level Security (RLS), интеграция с Active Directory, обеспечение аудита доступа к данным.

Требования:

Образование высшее или среднее специальное
Навык работы Excel, SQL
Коммерческий опыт работы Data Engineer / ETL-разработчиком от 5-х лет.
Глубокое знание SQL и опыт работы с PostgreSQL в production-среде (понимание индексов, партиционирования, транзакций, репликации).
Оркестрация: Практический опыт разработки и поддержки пайплайнов в Apache Airflow (написание DAG, использование сенсоров, операторов, создание кастомных плагинов).
Язык программирования: Уверенное владение Python для разработки ETL-задач, скриптов и работы с API.
Моделирование данных: Понимание принципов построения хранилищ данных (DWH), классических подходов к моделированию (снежинка, звезда). Опыт проектирования и поддержки схем ODS, DDS, Data Mart.
Желательные (Будут большим плюсом):
Понимание принципов контейнеризации (Docker) и оркестрации (Kubernetes).
Опыт настройки мониторинга (Prometheus, Grafana).
Понимание подходов к безопасности в БД (аутентификация, авторизация, Row Level Security, маскирование данных). Опыт интеграции с Active Directory.
Опыт работы в банковской/финансовой сфере, понимание специфики банковских данных
Личные качества (Soft Skills):
Умение находить баланс между «идеальным архитектурным решением» и «прагматичной реализацией в срок в условиях ограниченных ресурсов». Понимание бизнес-целей проекта.
Способность видеть взаимосвязи компонентов всей системы (от источников до витрин), предвидеть последствия изменений.
Умение чётко доносить свои решения, аргументировать выбор технологий, документировать процессы. Готовность работать в тесной связке с архитектором, аналитиками.