Дата-инженер на платформу данных

Описание вакансии

Что нужно будет делать на проекте
Принимать участие в разработке корпоративной модели данных

Стек: SQL, Python, Hadoop, Apache Airflow, Power BI, Tableau, Oracle

Обязанности:

Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3
Интеграция данных из разнородных источников: Kafka, CDC (Change Data Capture), реляционных СУБД, REST API
Проектирование и реализация витрин данных для блока управления рисками, включая: Аналитику кредитного портфеля (винтажный анализ, NPL-мониторинг) Метрики качества портфеля
Разработка архитектуры хранения данных для скоринга, логов и результатов скоринга
Проектирование и внедрение системы Data Quality: автоматизированные проверки, алерты, SLA-мониторинг
Создание аналитических дашбордов и self-service отчетности для стейкхолдеров
Кросс-функциональное взаимодействие с архитекторами данных, аналитиками, QA и DevOps-командой
Менторинг junior-специалистов: code review, knowledge sharing, онбординг

Требования:

Опыт в Big Data от 2+ лет (Lakehouse, Hadoop)
Глубокое знание SQL, оптимизация запросов в MPP движках
Знание Java/Scala/Python на высоком уровне
Понимание принципов работы Spark
Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect)
Опыт построения интерактивных дашбордов и аналитических отчетов в BI-системах (Power BI, Tableau) Будет плюсом:
Понимание процесса разработки процессоров NiFi на Python/Java
Опыт разработки на PL/SQL и оптимизации сложных SQL-запросов в среде Oracle
Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/MS SQL/Postgres

Условия:

Работу в аккредитованной ИТ компании с возможность карьерного и профессионального роста
Атмосферу профессионального развития, вдохновленную принципами Agile.
У нас самый уникальный портфель бенефитов по программе софинансирования (ДМС со стоматологией, фитнес, школа ин. языков на выбор, скидки на коробочные продукты банка и партнеров).
Мы поможем развить вашу проф. экспертизу: оплатим профессиональные тренинги и внешние образовательные курсы, участвуем в ИТ активностях (митапы, хакатоны, юконы).
Вовлеченность, комфорт, свобода, минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня, приходи – с нами будет интересно!

Посмотреть контакты работодателя