Senior Data Engineer

Привет! Я Катя, рекрутер в команде кадрового агентства Hi, Rockits!

Сейчас ищу Data Engineer в классный международный проект, связанный с управлением файлами и доставкой контента (CDN). Это платформа, которая позволяет разработчикам по всему миру загружать, обрабатывать, оптимизировать и доставлять цифровой контент через API. Проект обрабатывает около 8 миллиардов запросов в месяц.

Что предстоит делать:
- Разрабатывать и поддерживать ETL-пайплайны (основной стек: Airflow, DBT, Kafka, ClickHouse)
- Участвовать в миграции инфраструктуры в Kubernetes
- Работать над улучшением качества данных и моделей
- Оптимизировать процессы биллинга (обрабатывая миллиарды записей ежемесячно)
- Самостоятельно предлагать и внедрять улучшения архитектуры

Мы ждем, что у вас есть:
- Знание Python
- Опыт работы с Apache Airflow
- Практический опыт работы с ClickHouse, Amazon Athena (или Databricks, Hadoop и т. д.)
- Знакомство с BigQuery и Kafka
- Понимание форматов Parquet и Apache Iceberg, а также опыт работы с колоночными хранилищами данных
- Опыт использования DBT для трансформации и моделирования данных
- Понимание архитектур Data Lake и Lakehouse

Почему стоит присоединиться:
- Реальные инженерные задачи с высоким impact
- Команда экспертов, открытая к новым идеям
- Современный стек и подходы к работе с данными

​​​​​​​Условия:
- Удаленка
- Оплата в валюте

Буду ждать вашего отклика!)