Middle Data Engineer (Python)

Middle Data Engineer (Python), Офис

Чем предстоит заниматься:

• Изучение и оценка структуры данных в источниках, а также существующих сценариев их обработки.

• Проектирование эффективных моделей хранения информации в ClickHouse, с учётом специфики исходных данных и потребностей отчётности.

• Разработка и реализация процессов ETL/ELT для переноса, преобразования и консолидации данных.

• Создание и оптимизация запросов для выборки и агрегирования информации в СУБД.

• Настройка и сопровождение сценариев автоматического выполнения процессов обработки данных.

• Внедрение механизмов частичной загрузки для уменьшения нагрузки на исходные системы.

• Контроль стабильности выполнения процессов, анализ ошибок и проверка корректности переданных данных.

Для нас важно:

• Уверенное понимание принципов построения хранилищ данных и методик моделирования (звёздная и снежинка схема, Data Vault и др.).

• Сильные навыки работы с SQL: создание сложных запросов с оконными функциями, CTE, множественными соединениями и оптимизация их производительности.

• Опыт применения систем управления потоками данных (например, Apache Airflow).

• Участие в проектировании и поддержке сложных сценариев автоматизации процессов обработки данных.

• Знание ключевых элементов экосистемы Airflow (операторы, хуки, сенсоры, XCom и др.).

• Практика настройки расписаний, обработки ошибок и повышения устойчивости ETL-процессов.

• Владение Python на уровне, позволяющем решать прикладные задачи внутри оркестратора.

• Опыт работы с системами контроля версий, уверенное владение Git и использование GitFlow-подхода.

• Навыки взаимодействия с бизнес-заказчиками и трансформации их требований в технические решения.

Главный принцип SkillStaff - Выбирай!

ЭКСПЕРТИЗА. Делай выбор в пользу проектов с разным уровнем сложности и экспертных команд, где можно работать с лучшими специалистами и обмениваться опытом.

РАЗНООБРАЗИЕ ПРОЕКТОВ. Выбирай из сотен компаний и проектов то, что интересно и полезно для твоего роста. SkillStaff помогает реализовывать ежегодно порядка 500 различных ИТ-проектов для крупного бизнеса.

КОМФОРТ. Создавай идеальные условия для своей работы: удаленный формат работы на территории РФ.