Senior Data Engineer

Мы находимся в поиске заинтересованного, нацеленного на результат и развитие Data Engineer для нашего клиента - крупной международной FMCG компании.

Задачи:

- Проектирование и реализация ETL-процессов;

- Развитие и поддержка инфраструктуры сервисов;

- Интеграция разнородных систем;

- Настройка мониторинга и управления задачами;

- Оптимизация производительности;

- Обеспечение безопасности;

- Развитие и поддержка CI/CD процессов;

- Документирование решений и разработка технической документации;

- Решение проблем и поддержка.

Технические навыки:

- Глубокое понимание архитектуры и возможностей платформы:

* Apache Airflow, включая работу с DAGs, операторами, сенсорами и хуками.

* Apache Kafka, включая работу с топиками, партициями, коннекторами.

- Опыт работы с реляционными (PostgreSQL, MSSQL, Oracle) и нереляционными (MongoDB) СУБД, знание SQL-запросов, опыта оптимизации запросов и создания индексов.

- Владение языком программирования Python на уровне профессионального разработчика, опыт написания сложных программных конструкций и библиотек.

- Опыт проектирования и реализации ETL-пайплайнов в рамках крупных организаций, работа с инструментами для автоматизации процессов перемещения и трансформации данных.

- Навык контейнеризации и развертывания приложения на Kubernetes, Docker Compose и других платформах оркестрации контейнеров.

- Знание принципов построения отказоустойчивых архитектур (HA, disaster recovery).

- Практический опыт настройки мониторинга, анализа журналов, создания инструментов аналитики (Prometheus, Grafana, ELK Stack).

- Осведомленность о современных методах DevOps и принципах CI/CD.

Условия:

- Официальное оформление ТК РФ.

- Белая заработная плата.

- Корпоративная техника.

- Удаленный формат работы.

- График: 5/2 с 9:00 до 18:00 мск