Data Engineer

В нашем трайбе SberWorks создается новая команда, которая займется разработкой и сопровождением отдельного внутреннего компонента-хранилища данных (Data Lake) в рамках новой платформы Productivity Platform.

Этот компонент станет основой для хранения всех данных инструментов, входящих в платформу, и будет использоваться для построения аналитики производственного процесса, обучения AI ассистентов и передачи подготовленных витрин с данными потребителям.

Цель создания платформы Productivity Platform — обеспечить единый и бесшовный путь для команд Банка, сократив производственные затраты благодаря максимальной автоматизации и применению искусственного интеллекта на каждом этапе производственного процесса.

Хранилище данных (Data Lake) — "кровь" платформы, и ваша роль в этом проекте будет ключевой!

Стек технологий проекта: Python, Flink, Airflow, Hadoop (Hive), Kafka, Postgres

Обязанности

• Разработка PyFlink пайплайнов для обработки событий в NRT режиме (в том числе от Debezium)
• Написание AirFlow DAG для построения агрегированных витрин с использованием Spark
• Обеспечение бесперебойной работы поставки данных и в целом DataLake. Наша задача — гарантировать стабильную и эффективную работу всей системы, минимизируя риски простоя и обеспечивая высокий уровень доступности данных

Требования

• Уверенно владеешь Python3
• Знаком со стеком технологий проекта
• Имел опыт промышленной разработки от 3-х лет
• Понимаешь цикл разработки - от постановки задачи до выкатки на прод
• Умеешь тестировать свой код (например, с помощью PyTest)
• Уверенно знаешь SQL
• Знаешь шаблоны проектирования и умеешь их применять
• Умеешь проводить ревью кода
• Будешь стремиться погружаться в продукт, а не "просто писать код"

Условия

• Современный комфортный офис рядом с м. Кутузовская
• Гибридный график после испытательного срока
• Ежегодный пересмотр зарплаты и годовая премия
• Более 400 образовательных программ СберУниверситета. Возможность постоянно совершенствоваться и развивать профессиональные навыки.
• Программа адаптации и помощь руководителя на старте. Мы поможем вам быстро влиться в коллектив и начать продуктивную работу
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. Забота о вас и ваших близких — важный аспект нашего сотрудничества
• Корпоративный спортзал и зоны отдыха
• Ипотека выгоднее до 7% для каждого сотрудника. Специальные условия ипотечного кредитования сделают покупку жилья доступной
• Подписка СберПрайм+, скидки на продукты компаний-партнеров
• Вознаграждение за рекомендацию друзей в команду Сбера. Привлекая новых талантливых специалистов, вы можете заработать дополнительное вознаграждение

Присоединяйтесь к нашей команде и станьте частью большого и важного проекта, который изменит подход к работе в Банке!