Data Engineer

Показать контакты

Описание вакансии

Находимся в поиске Senior Data engineer на международный банковский проект.

Ты наш кандидат, если:

Опыт работы Data Engineer или DWH разработчиком от 6 лет;
Глубокие знания SQL и опыт оптимизации сложных запросов;
Опыт работы с технологиями DWH/Lakehouse: Apache Spark, Delta Lake, ClickHouse, или аналогичными;
Уверенное владение Python для написания скриптов и интеграции данных;
Опыт построения и поддержки ETL/ELT пайплайнов, знание оркестраторов (Airflow, Luigi);
Знание принципов распределенных систем и опыт работы с потоковыми данными (Kafka будет плюсом);
Понимание архитектуры DWH/Lakehouse с фокусом на производительность и масштабируемость;
Навыки работы с аналитиками и построения бизнес-метрик, поддержки отчетности;
Внимание к качеству, точности и безопасности данных.

Будет преимуществом:
Опыт работы с облачными платформами (AWS, Azure, Google Cloud);
Знание технологий контейнеризации (Docker, Kubernetes);
Навыки работы с инструментами управления метаданными (DataHub, OpenMetadata);
Опыт в автоматизации CI/CD для данных и мониторинга данных;
Опыт работы с BI инструментами и/или с данными по банковским продуктам.

Твои задачи:

Проектирование, разработка и оптимизация ETL/ELT процессов для интеграции и обработки данных из различных источников в DWH/Lakehouse;
Создание и управление слоями данных (RAW, STG, ODS, DM, Marts) для обеспечения качественных витрин данных;
Обеспечение качества данных (Data Quality), мониторинг и настройка алертов для стабильной работы данных процессов;
Взаимодействие с аналитиками для поддержки бизнес-аналитики и построения отчетности (не регуляторной);
Оптимизация запросов и производительности хранилищ данных;
Документирование процессов и технических решений;
Автоматизация и сопровождение процессов загрузки, переобработки и обновления данных;

Условия: