Data Engineer

∙ Разрабатывать, поддерживать и оптимизировать процессы интеграции и трансформации данных (ETL/ELT) в batch и streaming-режимах
∙ Настраивать и сопровождать пайплайны данных в инструментах (Informatica, Apache NiFi, Kafka, Airflow)
∙ Интегрировать данные из различных источников (БД, API, файловые хранилища, внешние сервисы)
∙ Оптимизировать SQL-запросы и процессы загрузки данных в DWH (Greenplum, PostgreSQL , Oracle)
∙ Реализовывать real-time и near real-time потоки данных
∙ Обеспечивать качество, целостность и актуальность данных
∙ Участвовать в проектировании архитектуры хранилища данных (Data Warehouse, Data Lake, Data Mart)

∙ Опыт работы Data Engineer / ETL-разработчиком от 2–3 лет
∙ Уверенные знания SQL и опыт работы с большими объемами данных
∙ Опыт работы с различными СУБД (Greenplum, PostgreSQL, Oracle, ClickHouse и др.)
∙ Навыки работы с Informatica, Apache NiFi, Kafka, Airflow или аналогичными инструментами интеграции
∙ Навыки оптимизации и отладки производительности ETL/ELT
∙ Опыт интеграции с API (REST/SOAP)
∙ Опыт работы с отчетами и пакетами бизнес-аналитик (IBM Cognos, Power BI)
∙ Навыки разработки на Python для автоматизации процессов
∙ Понимание принципов построения DWH и DataLake , знание подходов к моделированию данных
∙ Практический опыт моделирования и построения хранилищ данных по методологии Data Vault

​​​​​​