Data Engineer

На основе имеющихся данных создаем комплексную модель клиента, которая позволит ответить на вопрос, как то или иное обстоятельство или решение повлияет на различные показатели клиента. Наши DS строят различные модели машинного обучения, а мы поставляем им промышленные данные на Hadoop, а также обеспечиваем встраивание результатов моделей в бизнес-процессы путем поставки до целевых систем.

Обязанности

• разработка промышленного кода сбора таблиц на scala/python с использованием движка Spark
• разработка инструментов для автоматизации процесса расчета витрин данных в промышленной среде
• оптимизация скорости выполнения SQL запросов на движке Spark
• разработка интеграций на базе REST API/Kafka
• разбор проблем на ПРОМ, связанных с работой функционала промышленного расчета витрин данных/интеграций

Требования

• уверенное владение SQL, включая аналитические функции
• базовое знание python/scala/java (с желанием перейти на scala)
• понимание экосистемы Hadoop (HDFS, Spark, YARN)
• понимание принципов ООП
• опыт работы с Git
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
• опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов

Условия:

• офисный формат работы в новом технохабе Сбера на Ваське
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.