SRE engineer (BigData/DWH)

Мы - Wildberries, один из самых крупных и известных маркетплейсов, который создают более 4-х тысяч IT-специалистов. Мы создаем сервисы для себя - это автоматизация процессов логистики/складов/ПВЗ, эко-система платежных продуктов и многое другое.

В связи с расширением отдела ищем талантливого, проактивного и опытного BigData/DWH SRE в команду инфраструктуры.

Проект: Строим с нуля аналитическое хранилище компании.

Что планируем построить: Кластер Hadoop Vanilla одной из последних версий, компоненты: HDFS, YARN, Hive, Trino, Spark, Airflow, JupyterHub, FreeIPA KDC, Knox, Ranger, Hue, OpenMetadata, Superset.
Часть сервисов на железе, часть - в K8S. Интеграция с Keycloak.

Чем предстоит заниматься:

• Принимать участие в проектировании технической архитектуры хранилища.
• Собирать и пакетировать компоненты кластера.
• Автоматизировать деплой и конфигурацию компонентов кластера с помощью Ansbile/Helm.
• Организовать мониторинг и алертинг ключевых метрик кластера.
• Организовать отказоустойчивость, безопасность и бэкапирование.
• Решать проблемы низкой производительности, исправлять ошибки в работе кластера.

Почему тебе может быть с нами интересно:

• Строим хранилище практически с нуля. Есть возможность построить на современном стеке, избежать типичных ошибок, проверить свои гипотезы В команде уже есть экспертиза, но не хватает рук.
• Поможем освоиться и прокачать свои знания в администрирования современного Bigdata/DWH стека.

Какие знания и опыт мы от тебя ждем (минимум):

• От 3 лет опыт в администрировании Linux.
• От 1 года опыт в администрировании Hadoop.

Что будет являться для тебя преимуществом:

• Навыки работы с K8S, а также опыт по переносу приложений с железа в K8S и выстраивание процессов CI/CD на основе GitLab CI.
• Большой опыт в траблшутинге сложных распределенных систем.
• Умение писать на Python.

Мы предлагаем:

• Возможность гибкого начала рабочего дня, 100% удаленный или гибридный формат (есть несколько офисов в Москве).
• Интересные и амбициозные задачи (работа на проекте с нуля), возможность для горизонтального и вертикального карьерного роста.
• Оформление по ТК РФ в IT компанию с первого дня.
• Современный стек, минимум бюрократии.
• Бонусы компании: ДМС, партнерские программы по обучению и фитнесу, корпоративное питание для сотрудников в офисе.