Senior Data Platform Engineer / DevOps (Data Platform)

О роли:

Мы ищем Senior Data Platform Engineer (Infrastructure/DevOps) для усиления команды по созданию корпоративной Платформы данных (Lakehouse). Вам предстоит взять на себя инфраструктурную часть проекта: спроектировать, развернуть и обеспечить работу отказоустойчивой платформы на OpenShift (S3, OLAP, оркестрация), а также организовать процессы миграции данных из legacy-систем. Вы будете ключевым экспертом по инфраструктуре, работая в тесной связке с архитектором данных и data-инженерами.

Основные задачи:

- проектирование и развёртывание высокодоступной инфраструктуры для платформы данных на базе OpenShift (Kubernetes на bare-metal): S3-хранилище (MinIO/Ceph), OLAP (StarRocks/Doris), оркестрация (Apache NiFi/Airflow), мониторинг, мониторинг;

- организация и настройка конвейеров для миграции данных из legacy-систем (Hadoop HDFS/Hive, Greenplum, Kafka, PostgreSQL) на новую платформу. Взаимодействие с командой поддержки Hadoop;

- настройка сквозного мониторинга (Prometheus/Grafana), логирования (Loki/ELK) и алертинга для инфраструктуры и бизнес-метрик data-пайплайнов. Обеспечение отказоустойчивости, безопасности (RBAC, OAuth, Vault) и процедур восстановления;

- внедрение принципов «Infrastructure as Code» и GitOps (Ansible, Helm) для автоматизации развёртывания, конфигурации и обновления сервисов;

- эксплуатация и оптимизация производительности, стоимости и масштабируемости платформы. Консультирование data-инженеров по возможностям инфраструктуры;

- участие в развитии платформы: интеграция и инфраструктурная поддержка инструментов Data Quality (Great Expectations/dbt), обработки данных (Spark/Trino).

Наши ожидания:

- опыт от 4 лет в ролях DevOps / Platform / Data Engineer с фокусом на инфраструктуру для данных;

- глубокий практический опыт развёртывания и поддержки OpenShift/Kubernetes на bare-metal в production-средах;

- опыт администрирования и настройки Apache Airflow или NiFi для оркестрации процессов;

- опыт работы с S3-совместимыми хранилищами (MinIO, Ceph) и stateful-сервисами (БД, очереди) в production;

- понимание экосистемы Big Data и опыт интеграции с Hadoop (HDFS, Hive) и Kafka;

- навыки построения систем мониторинга для data-платформ на Prometheus/Grafana (от инфраструктуры до пайплайнов);

- продвинутые навыки автоматизации через Ansible, Terraform, Helm;

- готовность работать в условиях миграции с legacy-систем и принимать архитектурные решения;

- умение работать в кросс-функциональной команде, консультировать коллег и документировать решения.

Будет серьёзным преимуществом:

- опыт тонкой настройки OLAP-систем (StarRocks, Doris, ClickHouse) или распределенных движков запросов (Trino, Spark SQL) для production-нагрузки;

- умение разрабатывать Kubernetes Operators (Go, Python).

Что мы предлагаем:

• официальный доход - оклад + бонус квартальный и годовой; условия с успешным кандидатом готовы обсуждать индивидуально;
• ДМС со стоматологией и международная страховка;
• кафетерий льгот (компенсация ОСАГО, спортивного инвентаря, ДМС близким родственникам и многое другое);
• гибридный или удалённый график работы;
• офис находится в центре в шаговой доступности от ст. м. Новокузнецкая;
• заряженная команда полного цикла;
• возможность профессионального и карьерного роста.