Data Engineer

Компания: ТОО “Центр развития цифровой экономики”, дочерняя компания АО «Казахтелеком» занимается проектами маркировки
Локация: г. Астана, офис

Обязанности:

- Разработка, поддержка и оптимизация SQL/Python моделей данных в DBT
- Разработка Python скриптов для загрузки данных из разных источников
- Оркестрация ETL/ELT пайплайнов в Apache Airflow (Astro CLI)
- Разработка архитектуры моделей данных DWH (Clickhouse)
- Приоритизировать задачи от разных стейкхолдеров (внутренних и внешних)
- Документировать модели данных и ETL/ELT процессов

Требования:

- Высшее образование / Опыт не менее 2-х лет работы с данными
- Python (Data processing, API)
- Data modeling: Kimball, Inmon, OBT
- Опыт работы с DBT
- Глубокие знания SQL (оптимизация запросов, window functions, cte)
- Опыт работы с ETL-процессами и инструментами
- Опыт работы с MPP базами данных (Clickhouse)
- Tech stack: Python, DBT, Apache Airflow, Apache Superset, ClickHouse, Apache Kafka, PostgreSQL, Apache Cassandra, GitLab, Docker

Будет плюсом знание:

- Minio S3
- Apache Spark
- Apache Kafka, Apache Flink
- Kubernetes