Middle Data-инженер (Модель рынков)

Наш продукт — единая модель рынков. Это инструмент для быстрой и удобной визуализации и анализа данных по основным сегментам финансовых услуг Сбербанка. Единая модель собирает всю доступную информацию по банковским услугам, страхованию, инвестиционным продуктам и другим секторам экономики, включая исторические значения и прогнозы развития ключевых направлений рынка. Такой подход позволяет эффективно решать проблему недостатка единых инструментов для оперативного доступа к данным о рыночных тенденциях, долях конкурентов и истории изменений основных показателей.

Чем предстоит заниматься:

• разрабатывать и оптимизировать ETL/ELT-процессы с использованием Apache Airflow
• проектировать и поддерживать потоковую обработку данных начального уровня с помощью Apache NiFi
• создавать сложные SQL-запросы и оптимизировать работу с реляционными БД (PostgreSQL/MySQL) на всех этапах пайплайна
• участвовать в проектировании схем данных и витрин для эффективной аналитики
• сопровождать существующие и подключать новые источники через Фабрику данных компании (hive, spark)
• отвечать за часть процессов, связанных с регулярной (ежедневной/еженедельной) отчётностью, реализованной на JupyterHub (Jupyter Notebooks/Lab).

Мы ожидаем:

• опыт работы с Apache Airflow от 2 лет, умение строить нелинейные DAG
• экспертный уровень SQL и понимание внутренних механизмов реляционных СУБД
• базовый практический опыт с Apache NiFi (умение строить DataFlow)
• уверенное владение Python для автоматизации.

Будет плюсом:

• опыт с ClickHouse (практический опыт разработки и оптимизации ETL-процессов)
• опыт работы с Qlik Sense
• опыт с Apache Kylin для OLAP.

Мы предлагаем:

• формат работы: офис, гибрид
• годовой бонус и ежегодный пересмотр
• расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи
• корпоративный университет Сбера, внутреннюю образовательную платформу, участие в IT-конференциях
• офис на Кутузовской с зонами отдыха и спортзалом
• льготную ипотеку в Сбере, корпоративную пенсионную программу, подписку СберПрайм+, скидки от партнеров и сервисов группы компаний.