Data Engineer

Открыта вакансия «Data Engineer» у наших партнеров - одной из крупнейших компаний в области FMCG.

Занятость проектная от года (минимум). Предстоит работать над внутренней разработкой, которая на данный момент находится в активной стадии реализации и использования.

Необходимый для отклика опыт работы:

• Опыт на позиции Data Engineer от 1,5 лет
• Большое преимущество, если есть бэкграунд в качестве дата-аналитика
• Разработка и поддержка ETL-пайплайнов
• Оптимизация производительности запросов (партиционирование, индексы, кеширование)
• Участие в Data Governance

Специальные навыки и знания по позиции:

· Обязательные:

• Понимание основных операций СУБД и принципов DWH
• Понимание принципов ETL
• Опыт работы с Hadoop технологиями (Spark, Hive и тд)
• Опыт работы с Azure/Yandex облачными платформами
• Опыт разработки и поддержки DAGs в Apache Airflow
• Уверенное владение SQL, Python, pySpark

· Необязательные (как преимущество):

• Опыт работы с базами данных PostgreSQL и ClickHouse
• Опыт работы с Trino
• Опыт работы с инструментами обеспечения качества данных (Great Expectations)

Примерный список предстоящих задач:

· Проектировать и собирать витрины данных по разработанному ТЗ

· Проектировать, разрабатывать и поддерживать ETL-процессы для загрузки данных из/в Data Lake

· Писать документацию - комментировать код

· Проводить кросс-ревью кода

· Работать с data-аналитиками для создания новых и оптимизации существующих витрин

Какие условия мы предлагаем:

1. Официальное трудоустройство в аккредитованной it-компании;

2. Возможен полностью удаленный формат работы вне РФ по Мск времени // гибрид в офисе в Москве по желанию;

3. 9 часовой рабочий день (с 9 до 18) по Мск 5/2;

4. Фиксированная белая заработная плата;

5. Фактическая работа в команде профессионалов в одной из крупнейших FMCG компаний.