Data Engineer
Data Engineer
Астана
Описание вакансии
Обязанности:
- Разрабатывать и поддерживать процессы загрузки и обработки данных (ETL/ELT)
- Интегрировать данные из различных источников (БД, API, файловые хранилища, стриминговые системы)
- Проектировать и оптимизировать хранилища данных (Data Warehouse, Data Lake)
- Настраивать потоковую и пакетную обработку данных (Kafka, Spark и др.)
- Следить за качеством, надёжностью и доступностью данных
- Работать совместно с аналитиками и Data Scientists, обеспечивая их необходимыми данными
- Документировать процессы и поддерживать существующую инфраструктуру данных
- Опыт работы Data Engineer от 2 лет
- Отличные знания SQL и опыт оптимизации запросов
- Практический опыт работы с реляционными СУБД (PostgreSQL, MS SQL, MySQL и др.)
- Опыт работы с системами потоковой обработки данных (Kafka, Spark Streaming, Flink и др.)
- Опыт работы с Python (pandas, PySpark, Airflow и др.)
- Понимание принципов построения DWH и Data Lake
- Опыт работы с системами контроля версий (Git)
- Навыки работы в Docker / CI/CD среде
Навыки
- Data Analysis
- API
- Apache Kafka
- CI/CD
- Docker
- SQL
Адрес
Похожие вакансии
Senior Software Developer / ML Engineer (разработчик)
СпецГазМонтаж
Полный день
Астана
до 1000000 KZT
Полный день
Астана
до 1977000 KZT
Operations Engineer (Please provide your CV in English)
Qazaq Air, АО
Полный день
Астана
до 1977000 KZT
Полный день
Астана
до 1977000 KZT
Инженер-электроник (г. Людиново, Россия)
Ultradecor Trading Kazakhstan
Полный день
Астана
до 600000 KZT
Полный день
Астана
до 600000 KZT
Инженер по Linux
ЧАСТНАЯ КОМПАНИЯ INTERNATIONAL TRADING SYSTEM LIMITED
Полный день
Астана
до 600000 KZT
Инженер-проектировщик систем ОВ
IT Engineering SA (ИТ Инжиниринг СА)
Полный день
Астана
до 600000 KZT