Middle Data Engineer

Описание вакансии

Ищем опытного инженера по данным с опытом работы в области облачных сервисов (предпочтительно AWS) и уверенным владением Python для работы на иностранном проекте. Эта техническая, практическая роль предполагает разработку новой функциональности для Общей Аналитической Платформы, рефакторинг существующего кода и модулей анализа данных с использованием инфраструктуры Amazon Web Service от заказчика. Позиция требует тесного взаимодействия с командами аналитики и платформенных инженеров.

Обязанности:

Проектирование, создание и реализация систем сбора и обработки данных
Трансформация бизнес-требований в модели данных, которые легко понять и использовать различными специальностями в компании
Обеспечение поддержки требований бизнеса за счет архитектуры данных
Сотрудничество с другими техническими членами команды для установления лучших практик и стандартов управления данными и операциями
Проведение настройки производительности данных, устранение неполадок и оптимизация
Обеспечение соблюдения конфиденциальности и безопасности данных
Исследование новых технологий и подходов

Требования:

Высшее образование в области компьютерных наук, инженерии или смежных дисциплин
Разговорный английский
Опыт работы инженером по данным или на сходной должности не менее 3 лет
Владение языком программирования Python для обработки данных и разработки пайплайнов
Опыт работы с облачными сервисами AWS, связанными с хранением, обработкой и аналитикой данных (например, S3, Glue, Lambda, Redshift, DynamoDB)
Опыт работы с big data на Spark/PySpark/Spark SQL
Опыт работы с SQL базами данных, включая проектирование, запросы и оптимизацию
Опыт работы с моделированием данных, процессами ETL и концепциями хранилищ данных
Знание инструментов и фреймворков интеграции данных (например, Apache Airflow)
Знания CI/CD
Знания Agile подходов
Коммуникативные навыки и способность объяснять технические концепты непрофессионалам