Разработчик (Spark Scala)

IT-компания Selecty в активном поиске Разработчика дата-продуктов (Spark Scala) для участия в развитии сервисов банка, входящего в ТОП-5 банков России.

В ГК Selecty более 100 IT-проектов и 100+ IT-рекрутеров. C 2013 года успешно решаем задачи любой сложности в рамках цифровой трансформации для крупного бизнеса.

Обязанности:

Разработка дата-продуктов ЕСС (Единый семантический слой) на Scala:

• Понимание ТЗ на разработку дата-продуктов в форме SQL-запросов и комментариев к ним
• Разработка дата-продукта на Scala (сейчас) или Java (в перспективе) с использованием фреймворков Spark и Сбера
• Тестирование разработки на модельных данных
• Создание артефактов для подготовки дистрибутива к релизу
• Согласование порядка установки и последующих запусков дата-продукта

Создание и расширение реплик трайба

• Освоение методик Сбера для создания/расширения реплик
• Создание/расширение реплик согласно планам трайба

Создание витрин трайба (в перспективе)

• Участие в создании и настройке для трайба отдельного ПКАП или пространства в существующем ПКАП
• Разработка витрин трайба в ПКАП

Требования:

• Уверенное знание и опыт Spark Scala от 1,5 лет

Приветствуется:

• Знание и опыт PySpark
• Опыт в оркестрации ETL
• Понимание Data/Delta Lake Store или Lighthouse
• Apache Oozie, Airflow, Informatica Control M, ADF и другие
• Apache HDFS, Apache Hive для Parquet, Avro и другие
• Будет полезен опыт с noSQL колоночными или графовыми базыми данных
• Apache HBASE или Apache Cassandra, Apache Phoenix приветствуется
• Опыт работы с реляционными базами данных PostgreSQL, SAP HANA, DBMS Oracle и другими приветствуется
• Опыт и понимание DWH, Data Vault
• Полезен опыт в построения MDM систем

Комфортные условия и полезные бонусы от Selecty:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования
• Формат работы возможен полностью удаленный
• Сложные и интересные задачи, современный стек технологий
• ДМС

• Корпоративная жилищная программа