Data Engineer

Мы — команда из 10 инженеров, ответственных за разработку и поддержку высоконагруженной внутренней платформы для обработки диалоговых данных LLM и AI агентов.

Технологический стек:

Обработка данных: Apache Spark, Hadoop (HDFS, YARN)

Оркестрация: Apache Airflow

Потоковая передача данных: Apache Kafka

Кэширование и вычисления: Apache Ignite

Логи: ELK Stack (Elasticsearch, Logstash, Kibana)

Визуализация: Apache Superset

Инфраструктура: CI/CD (BitBucket/Jenkins), k8s, Linux

Обязанности

• разрабатывать, оптимизировать и поддерживать ETL/ELT процессы в Apache Spark для построения витрин данных
• интегрировать компоненты платформы с использованием Apache Kafka и Apache Ignite
• поддерживать и развивать текущую архитектуру данных, обеспечивать ее отказоустойчивость и производительность
• разрабатывать и поддерживать DAG в Apache Airflow
• настраивать и поддерживать CI пайплайны для Big Data-сервисы

Требования

• не менее 3 лет опыта коммерческой разработки ETL на Apache Spark (Core, SQL)
• практический опыт работы с Apache Airflow и Hadoop (HDFS, YARN)
• опыт построения и поддержки CI пайплайнов (Jenkins или аналог)

Будет плюсом:

• опыт работы с Apache Kafka, Apache Ignite
• знание ELK-стека, Apache Superset

Условия

• комфортный современный офис рядом с м. Кутузовская
• гибридный формат работы – 1 раз в неделю в офисе
• ежегодный пересмотр зарплаты, годовая премия
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• ипотека для сотрудников выгоднее до 4%
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.