Senior Data Engineer / team lead

ДОБРЫЙ ДЕНЬ, УВАЖАЕМЫЙ КАНДИДАТ!

На сегодняшний день мы, Команда Мечты, ищем Senior Data Engineer / team lead.
прошу написать сопроводительное письмо, почему именно вы подходите на эту роль.

ЧЕМ ВЫ БУДЕТЕ ЗАНИМАТЬСЯ:

• Архитектура и развитие платформы данных

• Проектировать и развивать архитектуру Data Platform компании

• Определять стандарты построения и поддержки ETL/ELT пайплайнов

• Выбирать технологии и инструменты под задачи масштабирования и устойчивости

• Участвовать в формировании roadmap развития дата-инфраструктуры

• ETL и оркестрация

• Разрабатывать и поддерживать надёжные ETL-процессы с использованием Apache Airflow

• Оптимизировать пайплайны данных (retry, SLA, logging, alerting)

• Контейнеризировать процессы и управлять деплоем через Kubernetes

• Организовывать хранение и обработку данных в S3 Data Lake

• Моделирование и трансформации данных

• Разрабатывать и документировать модели dbt для DWH

• Настраивать CI/CD для автоматического тестирования и развертывания моделей

• Реализовывать принципы Data Quality (dbt tests, data contracts, Great Expectations)

• Хранилище данных (DWH и NoSQL)

• Проектировать и оптимизировать хранилища данных на PostgreSQL и ClickHouse

• Разрабатывать агрегированные витрины и аналитические таблицы

• Интегрировать и работать с NoSQL-базами (MongoDB, Redis, Cassandra и др.)

• Поддерживать прозрачность и воспроизводимость данных (data lineage, observability)

• Интеграции и стриминг данных

• Разрабатывать коннекторы и интеграции с внешними источниками (REST API, JSON, OAuth)

• Настраивать стриминг данных через Apache Kafka (producers/consumers, топики, партиционирование)

• Обеспечивать надёжную доставку и трансформацию потоковых данных

• Инфраструктура и автоматизация

• Автоматизировать развёртывание и конфигурацию инфраструктуры (Terraform, Helm)

• Настраивать мониторинг и алерты (Prometheus, Grafana, ELK)

• Контролировать производительность, отказоустойчивость и безопасность дата-процессов

• Участие в развитии команды

• Проводить code review, внедрять инженерные стандарты и best practices

• Менторить менее опытных инженеров и помогать в развитии команды

• Работать в тесном взаимодействии с аналитиками и Data Scientists

ЧЕГО МЫ ОТ ВАС ОЖИДАЕМ:

• Опыт работы от 3 лет в роли Senior Data Engineer
• Глубокие знания SQL и опыт работы с PostgreSQL, ClickHouse
• Опыт разработки и поддержки пайплайнов в Apache Airflow
• Опыт работы с dbt (модели, макросы, тестирование)
• Уверенные знания Python (pandas, requests, sqlalchemy)
• Опыт интеграции с REST API
• Знание принципов OLAP / OLTP, DWH архитектуры и ETL-дизайна
• Опыт работы с Kafka, Kubernetes, S3, NoSQL
• Понимание CI/CD и автоматизации инфраструктуры (Terraform / Helm)

Будет плюсом:

• Опыт работы со стриминговыми пайплайнами (Kafka Connect, Spark Streaming, Flink)
• Опыт в облачных платформах (AWS / Azure / GCP)
• Навыки настройки мониторинга (Prometheus, Grafana, ELK)
• Опыт работы с BI-инструментами (Superset, Metabase, Tableau)
• Участие в проектировании Data Governance и Observability

ЧТО МЫ ПРЕДЛАГАЕМ:

• Конкурентоспособная заработная плата (обговаривается при собеседовании);
• Высокий уровень автономности;
• Минимум бюрократии;
• Разноплановые проекты;
• Сложные задачи и вызовы;
• Своя кухня;
• Компенсация участия в конференциях;
• Своевременная выплата З/П;
• Комфортные условия работы;
• График работы: 5/2, с 8:00 до 17:00, обед с 12:00 до 13:00.