Data engineer (Проектирование аналитического хранилища)

Ищем талантливого дата-инженера, готового принять участие в строительстве и поддержании инфраструктуры хранилища данных (DWH). Ты будешь ответственен за проектирование, разработку и поддержку механизмов ETL (Extract, Transform, Load), обеспечение целостности и доступности данных, создание инструментария для мониторинга и диагностики.

Эта позиция требует глубоких знаний архитектуры хранения данных, твердого понимания процессов трансформации и загрузки данных, а также умения управлять большими объемами информации.

Обязанности:

• Проектирование физической модели детального и витринного слоя аналитического хранилища на базе PostgeSQL (создание структуры таблиц, функций, хранимых процедур в соответствии с поставленной задачей по сбору информации)
• Обеспечение ETL-процессов для загрузки данных из/во внутренние базы данных компании, из файлов Excel/CSV (Airflow/Python/Git)
• Формирование расписаний загрузки данных и проверка корректности и полноты информации
• Формирование витрин для отслеживания выполнения процедур копирования и расчета информации
• Формирование алгоритмов проверки качества данных.
• Поддержка высокой доступности и отказоустойчивости инфраструктуры DWH.
• Мониторинг и диагностика текущего состояния хранилища данных, предотвращение и оперативное исправление неисправностей.
• Улучшение и расширение существующей инфраструктуры DWH для поддержки роста объема данных и увеличения нагрузки.

• Высшее образование (обязательно)
• Опыт работы по направлению не менее 2-х лет
• Опыт работы на проектах по развитию хранилищ данных в роли разработчика (аналитика данных - как плюс)

• Английский на уровне чтения документации будет плюсом

• Владение SQL (методы оптимизации SQL-запросов и структур данных, аналитические функции), Опыт работы с СУБД
• Способность анализировать бизнес-специфику задачи c целью проектирования ETL-процессов и моделей хранения данных
• Понимание принципов построения ETL-процессов и опыт работы с ETL-инструментами (Airflow/Python)
• Понимание принципов DevOps и CI/CD, применение контейнеризации.
• Умение разрабатывать пайпы данных и поддерживать качество данных с помощью инструментальных средств контроля качества.
• Знание Python/R/Scala для написания скриптов обработки данных

• График работы 5/2 с 9.00 до 18.00
• Оформление согласно ТК РФ
• Стабильная заработная плата
• Место работы метро улица 1905 года, Шмитовский проезд, дом 2, стр.1
• Корпоративное обучение, повышение квалификации

Просим в сопроводительном письме указывать ваши финансовые ожидания

Работа в Правительстве Москвы — это возможность делать наш город современнее и удобнее.
Если ты тоже неравнодушен к Москве, хочешь развивать ее и развиваться сам, присоединяйся к нашей команде!
Твой город – твоё дело!