Data Engineer

В компанию Тера Интегро, входящую в состав Группы Аренадата, открыта позиция Архитектора решений в связи с появлением нового проекта миграции аналитических платформ заказчика на продукты Arenadata.

Что нужно делать:

• Проектирование системы, разработка ETL-фрэймворка и оркестратора.
• Проектирование и разработка механизмов репликации данных между ADB, S3, ADQM.
• Разработка репликации слоев данных.
• Миграция расчетного слоя.
• Разработка механизмов внутри-системных проверок: db constraints, типов данных, технических- и бизнес-проверок, витрин, дэшбордов
• Разработка механизмов кросс-системных сверок.
• Проектирование и разработка механизмов загрузки истории. Проектирование и разработка механизмов мониторинга тракта загрузки данных.
• Проектирование и разработка механизмов мониторинга ADB и ADQM.
• Загрузка истории, запуск инкрементального расчета, кросс-системные сверки и исправление ошибок по слоям.
• Тестирование интеграций и проведение ПСИ с потребителями.
• Подготовка документации. Разработка ПМИ, проведение ПСИ.

Мы ждём, что вы:

• Опыт работы в роли Data Engineer от 2-х лет.
• Опыт работы с ADQM/Clickhouse.
• Отличное знание SQL. Понимание механизмов работы реляционных СУБД (на примере одной).
• Хорошее понимание оптимизации SQL запросов в MPP-системах и опыт оптимизации в Greenplum.
• Опыт проектирования ETL/ELT процессов и других подсистем хранилищ данных.
• Опыт миграций (импортозамещения) с продуктов западных вендоров на Arenadata/OSS.