Администратор Big Data в команду DataLake

В нашем трайбе SberWorks (Сбер) создается новая команда, которая займется разработкой и сопровождением отдельного внутреннего компонента-хранилища данных (Data Lake) в рамках новой платформы Productivity Platform.

Этот компонент станет основой для хранения всех данных инструментов, входящих в платформу, и будет использоваться для построения аналитики производственного процесса, обучения AI ассистентов и передачи подготовленных витрин с данными потребителям.

Цель создания платформы Productivity Platform — обеспечить единый и бесшовный путь для команд Банка, сократив производственные затраты благодаря максимальной автоматизации и применению искусственного интеллекта на каждом этапе производственного процесса.

Хранилище данных (Data Lake) — "кровь" платформы, и ваша роль в этом проекте будет ключевой.

Присоединяйтесь к нашей команде и станьте частью большого и важного проекта, который изменит подход к работе в Банке.

Обязанности

• разворачивание и сопровождение Data Lake с экосистемой Hadoop, Hive, PostgreSQL, Ranger, Trino, NiFi, Flink, AirFlow, OpenShift, Prometheus
• обеспечение бесперебойной работы Data Lake и всех ее компонентов
• ваша задача — гарантировать стабильную и эффективную работу всей системы, минимизируя риски простоя и обеспечивая высокий уровень доступности данных.

Требования

• знания экосистемы Hadoop, умение ориентироваться в различных компонентах Hadoop и уметь настраивать и оптимизировать их работу
• опыт работы с Linux-системами и средствами их диагностики (от 2 лет)
• навыки работы с инструментами Infrastructure as Code: Ansible, Helm, автоматизация процессов настройки и управления инфраструктурой
• опыт работы с оркестраторами Kubernetes (K8S) или OpenShift
• понимание принципов мониторинга на всех уровнях, умение организовать мониторинг и логирование, чтобы своевременно обнаруживать и устранять проблемы.

Условия

• работа в сильной команде, с которой можно расти
• прокачать hard skill в масштабном проекте по замене стека технологий участвовать в развитии продукта, являясь частью команды разработки
• комфортный офис в Москве на Кутузовском проспекте (Sber City)
• гибридный график работы (офис + удаленка)
• расширенный пакет ДМС со стоматологией, оплату 80% стоимости ДМС для супругов и детей
• льготная ипотека для сотрудников (- 4 п.п.)
• подведение итогов работы и премия в конце года
• тренажёрный зал и дежурного врача в офисе.