Мы развиваем масштабную корпоративную дата-платформу, которая обрабатывает и хранит большие объемы данных, обеспечивает потоковую и пакетную обработку, аналитику и доступ к данным для бизнеса. Платформа используется как основа для BI, ML, продуктовой аналитики и экспериментов.
Чем предстоит заниматься:
Обеспечение высокой доступности, отказоустойчивости и масштабируемости сервисов
Поддержка инфраструктуры дата-платформы
Эксплуатация и развитие Kafka-стека (Kafka, Kafka Connect, Kafka MirrorMaker, Kafka Schema Registry, Kafka Proxy)
Эксплуатация и развитие Airflow, Qlik Sense, Open Metadata, Spark.
Поддержка хранилищ данных и аналитических СУБД:
Greenplum
PostgreSQL + Patroni
ClickHouse
Эксплуатация объектного хранилища (S3-совместимые решения: MinIO и аналоги)
Поддержка кластера Kubernetes и Podman для оркестрации а также использовать Docker для сборки образов.
Написание скриптов для автоматизации задач (Bash, Python, Go).
Настройка CI/CD пайплайнов по средством GitLab CI/CD, Helm, Argo CD.
Автоматизация инфраструктуры и конфигураций (Ansible, Terraform, IaC-подходы)
Управление секретами и доступами (Vault)
Настройка и развитие мониторинга, логирования и алертинга:
Prometheus
Victoria Metrics
Grafana
OpenSearch
Поддержка API и внутренних сервисов (Go)
Понимание SRE практик и выполнение их.
Взаимодействие с командами data engineering
Что мы ожидаем:
Глубокий опыт работы с Linux-системами
Практический опыт эксплуатации Kubernetes в production
Опыт сборки и практического использования Docker/Podman оркестрации.
Опыт работы с Kafka и Kafka Connect в нагруженных средах
Опыт настройки мониторинга и логирования (Prometheus, Victoria Metrics, Grafana, OpenSearch)
Опыт автоматизации и конфигурационного управления (Ansible, Terraform)
Понимание принципов безопасности, работы с секретами (Vault)
Понимание архитектуры дата-платформ и data pipelines
Будет плюсом:
Опыт администрирования и поддержки СУБД (PostgreSQL, Greenplum, ClickHouse)
Опыт работы с S3-совместимыми хранилищами (MinIO)
Опыт работы с Airflow на уровне оптимизации
Опыт поддержки Go-сервисов
Опыт работы с BI-платформами (Qlik Sense)
Мы предлагаем
Работу с большой и сложной дата-платформой
Влияние на архитектуру и технологические решения
Интересные задачи на стыке DevOps, Data Engineering и Platform Engineering
Профессиональный рост и возможность развиваться в сторону архитектор
Гибкий формат работы (удалёнка / гибрид — по договорённости)
Мы резидент IT-парка, наши специалисты могут получить IT-визу, которая приравнивается к ВНЖ;
Развитие личного бренда на конференциях, митапах и внутренних событиях.