Senior Data Engineer в команду DataLake

В нашем трайбе SberWorks создается новая команда, которая займется разработкой и сопровождением отдельного внутреннего компонента-хранилища данных (Data Lake) в рамках новой платформы Productivity Platform

Этот компонент станет основой для хранения всех данных инструментов, входящих в платформу, и будет использоваться для построения аналитики производственного процесса, обучения AI ассистентов и передачи подготовленных витрин с данными потребителям

Хранилище данных (Data Lake) — "кровь" платформы, и ваша роль в этом проекте будет ключевой!

Стек технологий проекта: Python, Flink, Airflow, Hadoop (Hive), Kafka, Postgres

Обязанности

• разработка PyFlink пайплайнов для обработки событий в NRT режиме (в том числе от Debezium)
• написание AirFlow DAG для построения агрегированных витрин с использованием Spark
• обеспечение бесперебойной работы поставки данных и в целом DataLake. Наша задача — гарантировать стабильную и эффективную работу всей системы, минимизируя риски простоя и обеспечивая высокий уровень доступности данных

Требования

• уверенно владеешь Python3
• обязателен опыт с потоковой обработкой данных/ Stream processing
• понимаешь цикл разработки - от постановки задачи до выкатки на прод
• умеешь тестировать свой код (например, с помощью PyTest) и проводить ревью кода и уверенно знаешь SQL
• знаешь шаблоны проектирования и умеешь их применять
• навыки работы с генеративными AI-моделями: опыт создания AI-агентов и использования их в работе будет преимуществом

Условия

• cовременный комфортный офис рядом с м. Кутузовская
• гибридный график после испытательного срока
• ежегодный пересмотр зарплаты и годовая премия
• более 400 образовательных программ СберУниверситета. Возможность постоянно совершенствоваться и развивать профессиональные навыки.
• программа адаптации и помощь руководителя на старте. Мы поможем вам быстро влиться в коллектив и начать продуктивную работу
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа. Забота о вас и ваших близких — важный аспект нашего сотрудничества
• корпоративный спортзал и зоны отдыха
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера. Привлекая новых талантливых специалистов, вы можете заработать дополнительное вознаграждение