Data Engineer (Дивизион по управлению рисками)

Наша команда создаёт витрины и аналитические системы для подразделений оценки розничных рисков и потребительского кредитования. Для тебя это отличная возможность поработать с большими базами данных (сотни миллионов строк) и современными технологиями. Опытный руководитель, коллеги помогут и покажут лучшие решения на практике, и ты сможешь также привнести свои идеи. Самостоятельная работа и развитие приветствуются.
Ждем тебя в нашей команде!

Чем предстоит заниматься:

• Развитие архитектуры локального хранилища данных на базе PostgreSQL
• Разработка витрин данных на Greenplum + Data Lake с использованием собственного фреймворка
• Разработка и оптимизация ETL/ELT-процессов
• Создание производительных пайплайнов с использованием Spark, Python, SQL
• Оптимизация производительности загрузок и вычислений на больших объёмах данных
• Контроль качества данных и надежности процессов
• Автоматизация и CI/CD для аналитических пайплайнов
• Наставничество младших разработчиков, код-ревью
• Участие в оценке трудозатрат, планировании задач
• Совместная работа с аналитиками, архитекторами, бизнес-заказчиками
• Устранение инцидентов, техподдержка пользователей
• Постоянное улучшение производительности и устойчивости решений

Что мы ждём:

• Опыт работы с реляционными СУБД, отличное знание SQL, опыт оптимизации запросов
• Опыт работы с Data Lake (Spark/Python)
• Владение ETL/ELT-инструментами
• Знание CI/CD для DWH-процессов
• Знание архитектуры DWH и принципов моделирования данных: звезда, снежинка, Data Vault