Старший инженер данных

Freedom Telecom - современная телекоммуникационная компания, развивающая на рынке Республики Казахстан широкополосный доступ к сети интернет в каждый дом и открытый доступ Wi-Fi в крупных городах. Мы работаем в тесном сотрудничестве с мировыми производителями оборудования - программного обеспечения.

Чем предстоит заниматься:

• Проектирование и развитие архитектуры хранилищ данных (DWH).
• Разработка и поддержка ETL/ELT-пайплайнов на базе Apache Spark (PySpark).
• Оптимизация производительности Spark jobs (настройка конфигураций, партиционирование данных).
• Очистка, трансформация и агрегация больших объемов данных.
• Реализация пакетной обработки данных.
• Оркестрация и автоматизация процессов обработки данных с помощью Apache Airflow.
• Проектирование моделей данных, выбор платформы хранения, создание объектов схем.
• Управление миграциями баз данных с использованием Liquibase.
• Интеграция с различными источниками данных и брокерами сообщений.

Требования:

• Опыт работы в роли Data Engineer / Senior Data Engineer от 3 лет.
• Уверенное знание Python и SQL.

• Опыт работы с:

  • Apache Spark / PySpark
  • Apache Airflow

• Знание и практический опыт с БД:

  • Oracle
  • Greenplum

• Опыт работы с файловыми и облачными хранилищами:

  • HDFS
  • S3

• Опыт работы с брокерами сообщений:

  • Kafka
  • RabbitMQ
• Понимание принципов построения DWH и архитектур обработки данных.

• Опыт работы с системами контроля версий и миграций:

  • GitLab
  • Liquibase

Будет плюсом:

• Опыт работы с большими объемами данных (Big Data).
• Опыт проектирования высоконагруженных систем.
• Понимание принципов Data Governance и Data Quality.
• Опыт работы в распределенных командах.

Что мы предлагаем:

• График 5/2, с 9:00 до 18:00;
• Свободный дресс-код;
• Привилегии от экосистемы Freedom Holding;
• Экстра days off, помимо отпускных и больничных;
• Материальная помощь по памятным событиям;
• Самые инновационные, амбициозные проекты и задачи;
• Карьерный рост в команде дружных профессионалов.