Инженер сопровождения поставки данных Big Data

В SberData мы создаем централизованное хранилище данных всего Сбера. Это более 800 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum.

Задачи направления:

• организация и выполнение загрузок инкрементов данных из автоматизированных систем - источников
• организация и выполнение архивных перезагрузок данных
• анализ и разрешение инцидентов и проблем в части загрузки данных
• анализ и оптимизация использования ресурсов в части загрузки данных.

Обязанности

• сопровождение хранилищ данных на платформе Hadoop
• организация и мониторинг загрузки данных из систем - источников
• планирование и проведение внедрений
• анализ и разбор инцидентов.

Требования

• высшее техническое образование
• опыт работы в сопровождении
• базовые знания Linux и работы в консоли
• знание SQL
• навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом.

Плюсом будут:

• опыт администрирования RHEL
• знание ITIL/ITSM
• знание одного из языков программирования - Java, Bash, Python
• опыт работы с Hadoop: HDFS, Hive, Spark.

Условия

• офис на пр.Ленина 17
• график работы 2\2 с 12.00 до 24.00ч и с 00.00 до 12.00ч, в ночное время предоставляется корпоративное такси
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера.