Data Engineer

Удаленная работа!
Пожалуйста указывайте в сопроводительном письме Вашу локацию в РФ и желаемый/ожидаемый уровень оплаты в рублях.

О проекте:
Формирование данных из разных источников об абоненте в единого экосистемного клиента c эталонной информацией о нём. Cоздание эталонной базы клиентов на основании исходных записей в учётных системах организации и экосистемы.
Состав команды: 4 аналитика, 3 разработчика, 2 QA, Devops.

Задачи:

• Разработка и оптимизация ETL-процессов при помощи pyspark;
• Разработка витрин и постановка на расписание через Airflow;
• Мониторинг целостности данных в БД;
• Настройка ETL процессов загрузки данных через стриминги (spark streaming);
• Работы по повышения отказоустойчивости и скорости работы дата части сервисов.

Требования:

• Опыт 3-6 лет, middle+/senior;
• Коммерческий опыт с SQL + PL SQL, Python, Spark, Hive, Hadoop, Airflow, PostgeSQL, Kafka, Git;
• Очень желателен опыт с Cassandra, Oracle, k8s.

Стек проекта:
Python, Pyspark, Hive, Hadoop, Gitlab, Docker, Cassandra, Oracle, k8s.