Data Engineer (SberData)

Сбер обладает одним из крупнейших в стране хранилищ данных — объем данных банка превысил 250 ПБ. За секунду с нашими данными совершается около пятисот тысяч транзакций. Управляет данными Сбера SberData.

Ключевые функции департамента — это управление данными, создание и развитие технологического стека SberDataPlatform, а также предоставление сервисов по работе с данными: Супермаркет данных, Лаборатория данных, SberDataExchange и еще около сотни решений.

Обязанности

• проектирование и реализация ETL/ELT-пайплайнов для загрузки и обработки данных (включая DAG в Apache Airflow)
• оптимизация и сопровождение процессов обработки больших данных (Apache Spark, Apache Flink)
• интеграция источников данных (базы данных, API, файловые хранилища) в единую pipeline-архитектуру
• настройка и администрирование Airflow для оркестрации workflows
• участие в разработке архитектуры хранения и обработки данных (включая Hadoop-экосистему)
• документирование решений и формирование базы знаний.

Требования

• опыт разработки ETL/ELT-процессов (реализация, оптимизация, мониторинг)
• профильное владение Python (включая библиотеки для работы с данными)
• практический опыт с распределенными вычислениями: Apache Spark (PySpark/Scala) или Apache Flink
• базовые знания Scala (или готовность к изучению)
• глубокое понимание SQL и опыт работы с РСУБД (PostgreSQL, MySQL и др)
• знание Apache Airflow (создание DAG, настройка сенсоров, операторов)
• навыки администрирования Linux (развертывание, мониторинг, troubleshooting).

Условия

• комфортный офис рядом с м. Тульская, возможен гибрид
• стабильный оклад и социальная поддержка сотрудников
• расширенное ДМС с первого дня работы для сотрудников и льготная медицинская страховка для близких
• льготные условия кредитования для каждого сотрудника
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров: Купер, Самокат, Еаптека, Мегамаркет
• корпоративная пенсионная программа
• корпоративное обучение за счет компании
• официальное оформление с первого дня
• корпоративный спортзал и скидки в спортзалы-партнеры.