Data engineer (Middle+/Senior)

Data Engineer (Middle+/Senior) – для BI-отдела.

Мы ищем талантливого Data Engineer для работы в нашем BI-отделе. Ваша задача – совместно с DevOps и аналитиками развивать и совершенствовать архитектуру Data Lake на базе AWS, создавать и оптимизировать ETL/ELT пайплайны и обеспечивать корректную интеграцию данных из различных источников.

Обязанности

- Проектирование и разработка архитектуры Data Lake:

Использование AWS-сервисов (Amazon S3, AWS Glue, Amazon Athena, Redshift, DMS) для построения масштабируемой и надежной инфраструктуры.

- Разработка ETL/ELT пайплайнов:

Интеграция данных из различных источников и обеспечение их корректного перемещения и обработки.

- Взаимодействие с командами:

Работа с DevOps, аналитиками и бизнес-заказчиками для выявления и реализации оптимальных технических решений.

- Анализ и улучшение архитектурных решений:

Оценка текущей архитектуры, предложение альтернативных вариантов (например, AWS Lake Formation, Lakehouse, Apache Iceberg) для повышения эффективности системы.

- Обеспечение качества данных:

Внедрение лучших практик мониторинга, оптимизации производительности и безопасности данных.

Требования

- Релевантный опыт:

Практический опыт работы в области Data Engineering, особенно в построении Data Lake и разработке ETL/ELT пайплайнов.

- Технические навыки:

- Глубокие знания AWS-сервисов: Amazon S3, AWS Glue, Amazon Athena, Redshift, DMS.

- Отличное владение Python для реализации data pipelines.

- Прекрасное знание SQL и опыт работы с большими объёмами данных.

- Базовое понимание ClickHouse – знание данной OLAP-технологии будет вашим преимуществом.

- Общие навыки:

- Понимание принципов моделирования данных и построения Data Lake/Data Warehouse.

- Опыт работы с распределёнными системами и инструментами Big Data (например, Apache Spark, Kafka, Airflow) будет плюсом.

- Знание английского языка для чтения технической документации.

- Высокая самоорганизация, ответственность и умение работать в команде.

Будет плюсом

- Опыт внедрения AWS Lake Formation или аналогичных решений для управления Data Lake.

- Знакомство с концепцией Lakehouse (работа с Apache Iceberg, Delta Lake или Apache Hudi).

- Навыки DevOps (CI/CD, контейнеризация, Docker, Kubernetes) и опыт работы с системами оркестрации (AWS Step Functions, Apache Airflow).

- Опыт оптимизации инфраструктуры и обеспечения контроля качества данных (например, с использованием Great Expectations или AWS Deequ).

Условия

• Компетентная оплата, работа удаленно или гибридно (офис в мск)
• Оформление по ТК РФ , полис ДМС
• Дружелюбный коллектив профессионалов и энтузиастов своего направления
• Полная занятость