Главный разработчик / ETL

Hot Cache - система горячего кэширования. Стек самой системы:

• Object Storage (MinIO), на котором на Hive Metastore существуют таблицы Iceberg v.1.7
• Airflow 2.10.3 – оркестратор для батч-потоков
• Spark 3.5 – ETL инструмент батч-потоков
• Debezium, Kafka – на них организован CDC-захват данных с источников
• Инструмент «SDI» от вендора – оркестратор стриминговых потоков, надстройка над Flink

Используемые в команде языки по степени использования:Python 40%, Groovy 15%, сам фреймворк Spark 30%

Чем предстоит заниматься:

• Участие в проекте создания высоконагруженной системы горячего хранения данных
• Подключение системы горячего кэширование к действующим потоковым источникам и ETL процессам, расширение источников, создание новых
• Построение процессов инициализирующей загрузки данных (Spark /PySpark)

• Опыт работы с Debezium, понимание процесса cdc-захвата данных на уровне Middle+
• Опыт работы со Spark (PySpark) на уровне Middle+
• Airflow – на среднем уровне. Опыт работы с инструментом
• Kafka – понимание принципов работы
• Желателен опыт работы с Object Storage, общие сведения про Iceberg в связке с Hive Metastore
• Python, Groovy на среднем уровне
• Опыт работы с продуктами Tarantool будет преимуществом

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
• Полную удалёнку или гибрид на выбор, а также уютный ИТ-хаб в Москве, Санкт-Петербурге, Екатеринбурге и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины