Senior Data Engineer
Senior Data Engineer
Описание вакансии
Обязанности:
- Проектировать, внедрять и поддерживать процессы ETL/ELT для интеграции данных из множества источников в единое хранилище и аналитическую среду.
- Анализировать, очищать и структурировать исходные данные для обеспечения их целостности, доступности и готовности к продвинутой аналитике и моделированию.
- Взаимодействовать с бизнес-стейкхолдерами для понимания целей и преобразования их в эффективные решения в области данных, поддерживающие оценку эффективности, предиктивную аналитику и принятие решений.
- Подготавливать данные для предписывающего и предиктивного моделирования, интерпретировать тенденции и закономерности, делиться инсайтами с межфункциональными командами.
- Постоянно искать способы улучшения качества и надежности данных, выявлять возможности для расширения источников данных.
- Разрабатывать аналитические инструменты, прототипы и фреймворки для упрощения обработки, валидации и обеспечения качества данных.
- Тесно взаимодействовать с ML-инженерами, бэкенд разработчиками, аналитиками.
- Высшее образование в области компьютерных наук, информационных технологий или смежных специальностях.
- Более 3 лет опыта работы инженером по данным или в аналогичной должности.
- Внимание к деталям, умение анализировать данные и обеспечивать их высокое качество, проводить контроль качества данных.
- Наличие сертификатов в области инженерии данных (например, IBM Certified Data Engineer) будет преимуществом.
- Глубокое понимание моделей данных, методов интеллектуального анализа данных и техник сегментации.
- Уверенное владение Python или другими скриптовыми языками (Java/Scala).
- Опыт работы с SQL-базами данных и проектированием их схем.
- Практический опыт управления конвейерами данных, предпочтительно с использованием Apache Airflow (DAGs).
- Опыт работы с dbt, spark, mssql, airflow.
- Будет плюсом: знание в docker, kubernetes, nosql, scrapy.
- Стабильная оплата заработной платы, премии;
- Перспектива карьерного и личностного роста внутри Холдинга;
- Насыщенная корпоративная жизнь;
-
Уникальный опыт в команде профессионалов;
-
Социальный пакет и льготы.
Навыки
- SQL
- Python
- data engineer
- Java
- ETL