Разработчик Scala

Мы в поиске разработчика hadoop (Scala) на крупный банковский проект. Цель проекта: развитие хранилища данных ​​​​​​​в исходном виде​​​​​​​. Мы занимаемся подключением систем-источников к хранилищу и загрузкой данных в Озеро для дальнейшей трансформации и аналитики​​​​​​​.​​​​​​​

Твои задачи:

• Разрабатывать ETL для подключения источников к Озеру данных​​​​​​​
• Разрабатывать DAG-и для загрузки данных из источников (в том числе из Kafka) в “Озеро данных” с помощью Apache Airflow
• Поддерживать и сопровождение существующих загрузок
• Разрабатывать и внедрять новый функционал в общий проект

Что мы ждем от тебя:

• ​​​​​​​Отличное знание SQL (джоины, агрегатные и оконные функции)
• Большой опыт работы на Scala
• Опыт работы с Airflow, знание Python
• Знание экосистемы Hadoop

Будет плюсом:

• Опыт работы с Kafka

• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Технику для комфортной работы
• Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
• Сообщества по интересам: Лига Спорта, Лига Экспертов, Cyber Лига , а также возможность организовать свое сообщество и получить поддержку от компании
• Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды