Data Engineer (Spark)

X5 Group — российская розничная торговая компания, управляющая продуктовыми торговыми сетями «Пятёрочка», «Перекрёсток» и «Чижик», а также цифровыми сервисами «Vprok.ru Перекрёсток», 5Post, «Много Лосося» и медиаплатформой Food.ru.

X5 Tech - IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 4500 специалистов разрабатывает решения, которые помогают 372 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.

В Дирекции по управлению данными открыта позиция инженера обработки данных

Обязанности и задачи:

• Переход от YARN к Apache Spark на Kubernetes
• Миграция данных из Hadoop 2 в облачное хранилище S3 с использованием Iceberg
• Разработка и оптимизация ETL/ELT-процессов на Python с использованием Apache Spark
• Конфигурирование и настройка Spark-приложений под выполнение в Kubernetes
• Проектирование и поддержка пайплайнов
• Работа с Apache Airflow для оркестрации задач
• Интеграция с внешними системами: Trino, StarRocks, S3, Hive Metastore и др.
• Настройка и использование планировщиков в Kubernetes (YuniKorn или аналоги).

Требования:

• Уверенное знание Python
• Опыт работы с Apache Spark не только на уровне написания кода, но и конфигурирования кластеров и параметров выполнения
• Знание особенностей запуска Spark на Kubernetes (Spark on K8s)
• Опыт переноса задач с YARN на Kubernetes
• Навыки миграции данных из Hadoop/HDFS в S3, желательно с использованием Iceberg
• Понимание принципов построения ETL/ML пайплайнов, опыт их реализации
• Знание и практика работы с Apache Airflow (DAGs, Operators, scaling)
• Опыт работы с Kubernetes , понимание архитектуры и механизмов оркестрации
• Знакомство с YuniKorn или другими планировщиками задач на базе k8s
• Базовое понимание SQL, опыт работы с Trino , StarRocks — приветствуется
• Опыт работы с метасторами (AWS Glue, Hive Metastore и др.)
• Опыт оптимизации производительности Spark-приложений
• Знание CI/CD в контексте data-проектов
• Знание DevOps-практик и подходов к логированию, мониторингу и тестированию data-компонентов.

Условия:

• Официальное оформление с белой ЗП
• Ежеквартальные премии по результатам работы
• Возможность работать удалённо или в гибридном формате
• Удобный офис рядом с м. «Добрынинская» / удобный офис с бесплатной парковкой на м. «Волгоградский проспект» / МЦД «Калитники»
• Гибкий график работы
• Широкий пакет ДМС (включая выезд за рубеж и стоматологию), страхование жизни и здоровья
• Возможность учиться и развиваться за счёт компании: внешние тренинги и семинары по профессиональным тематикам, участие в крупнейших конференциях страны, программы развития цифровых и управленческих навыков (Цифровая академия, Школа Тимлидов), онлайн и офлайн мастер-классы, корпоративный университет «X5 Полка», школа наставников и многое другое
• Программы мотивации для спикеров и авторов: внутренняя школа Speak Up School, Write Up, ачивки и баллы за выступления, подготовка спикеров к крупнейшим конференциям страны, сообщество авторов на Хабре, возможность шерить опыт с комьюнити внутренних и внешних экспертов
• Обмен опытом через cообщества: 12 технических комьюнити от java до devops
• Яркая корпоративная жизнь с большим количеством мероприятий, конкурсов и возможностей для творческой реализации: регулярные внутренние митапы, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтерства, корпоративное предпринимательство X5 Idea Challenge
• Забота о благополучии сотрудников: 7 спортивных сообществ (бег, футбол, волейбол, баскетбол, хоккей, лыжи, триатлон), ежегодная Неделя здоровья
• Скидки в экосистеме бизнесов Х5 («Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок»)
• Программа привилегий Prime-zone (скидки на товары и услуги и специальные предложения от компаний-партнёров)
• Материальная помощь сотрудникам, попавшим в сложную жизненную ситуацию.