Инженер по сопровождению Hadoop

SberData - департамент по управлению данными всего Сбербанка. SberData строит централизованное хранилище данных, объем которого уже превышает 100 ПБ. Это продуктово-ориентированная инженерная команда с функциями развития выделенных технологических направлений, отражающих новый подход Сбербанка к данным и к применению AI.

Обязанности

• обеспечение бесперебойной работы платформы Hadoop в Сбере;

• установка, настройка, обновление кластеров SDP Hadoop и связанной инфраструктуры;

• участие в проектировании продукта SDP Hadoop со стороны сопровождения: Написание ТЗ, описание и воспроизведение Дефектов;

• автоматизация рутинных операций (Самостоятельно и с привлечением смежных команд, выставление ТЗ на контрагентов) для повышения производительности и надежности систем;

• проактивное администрирование и мониторинг, обеспечивающее непрерывную работу платформы, развитие мониторинга системы;

• анализ и оперативное устранение нештатных ситуаций, отказов приложений, а также исследование корневых причин их возникновения;

• поддержка и совершенствование процессов CI/CD, релизного процесса, обеспечивая эффективную разработку и доставку;

• создание эксплуатационной документации для сопровождаемых систем;

• организация работ, взаимодействие со смежными командами, в части исправления выявленных недостатков.

• Контроль внесения изменений в промышленную среду;

Требования

• глубокие знания в troubleshooting'е и администрировании linux-систем, уверенное владение командами ОС семейства Linux;

• высокий уровень навыков в администрировании и troubleshooting'e Hadoop, а именно Hive, YARN, Oozie, Zookeper, Hue, Ambari, HBASE, Spark, HDFS, Druid, Flume, Solr, Ranger;

• написание различных SQL запросов, понимание что такое DML, DDL, DCL, TCL;

• понимание работы стека TCP/IP;

• опыт эксплуатации CI/CD систем (Jenkins/Github/TeamCity/etc);

• опыт работы с системами мониторинга (Prometheus, Zabbix);

• понимание технологий интеграции между системами (форматы сообщений xml, json, менеджеры очередей Kafka, RabbitMQ, IBM MQ, ActiveMQ);

• знания и опыт работы c ELK (Elasticsearch, Logstash, Kibana);

• знания в области распределения нагрузки и масштабирования;

• опыт автоматизации на скриптовых языках (shell/perl/python/etc);

• опыт работы с централизованными системами по управлению идентификацией пользователей (RH IDM IPA, Active Directory), понимание принципов работы Kerberos, LDAP;

• способность быстро и точно выявлять и устранять причины возникших сбоев;

• понимание и следование принципам построения отказоустойчивых систем;

• английский язык на уровне чтения технической документации;

• опыт написания технической документации и технических заданий;

• знание принципов работы реляционных БД;

• знание ITSM, ITIL;

• xорошие коммуникативные навыки;

• высшее техническое образование (желательно в области ИТ)

Условия

• комфортный современный офис - Новоданиловская набережная
• ежегодный пересмотр зарплаты, годовой бонус
• корпоративный спортзал и зоны отдыха
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
• вознаграждение за рекомендацию друзей в команду Сбера
• корпоративная пенсионная программа.