Data Engineer

Мы создаем платформу, которая позволит собрать, обработать и предоставить потребителям чистые и качественные данные по продуктам и внутренним процессам.

Наша команда занимается развитием data-продукта внутри платформы, собирающий в себе все данные клиентов физических лиц. Мы проектируем, разрабатываем, тестируем и выводим в промышленную эксплуатацию интегрированные данные, которые будут использоваться тысячами потребителей и бизнес-процессов Сбера.

Наша цель – реализовать бесшовность и клиентоцентричность для каждого клиента внутри экосистемы Сбера благодаря качественным и чистым данным.

Задачи:

• загрузка, очистка и трансформация больших объемов данных из различных источников (RDBMS, Hadoop, Spark, плоские файлы)
• проектирование и разработка аналитических витрин данных
• мониторинг и оптимизация процессов загрузки, преобразования данных и сборки витрин
• контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
• разработка, поддержка и оптимизация инфраструктуры и внутренних сервисов для обработки больших объемов данных
• разработка инструментов для автоматизации рутинных задач, связанных с обработкой данных
• экспертная поддержка анализа исходных данных в различных системах и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных)

Требования:

• техническое образование
• опыт работы от 3-х лет в качестве Data Engineer / ETL Developer
• знание SQL (Postgres, Greenplum) на middle+ уровне (аналитические функции, подзапросы, хранимые процедуры, оптимизация производительности)
• опыт работы с реляционными СУБД (Greenplum, Postgres, MySQL, Oracle)
• Знание и опыт работы с экосистемой Hadoop (HDFS, Hive, Spark, YARN, Hbase и т.д.)
• Знание основных понятий и концепций из области проектирования и построения DWH
• умение пользоваться терминалом Linux (знание основных команд и утилит)
• опыт работы c CI/CD (Jenkins, GitLab)
• знание Git

Условия:

• годовой бонус и ежегодный пересмотр заработной платы
• расширенный ДМС с первого дня + стоматология и льготное страхование для семьи
• корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях
• офис на Кутузовском проспекте
• льготная ипотека в Сбере, корпоративная пенсионная программа, подписка СберПрайм+, скидки от партнеров и сервисов группы компаний