ETL инженер

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

ЕМИАС - одна из крупнейших в мире цифровых платформ, которая насчитывает более 18 миллионов граждан в базе данных, охватывает в единый цифровой контур более 1000 зданий столичных медучреждений амбулаторного, стационарного звена и бригады скорой и неотложной помощи, обеспечивая непрерывность и преемственность всех этапов лечения. ЕМИАС занимается информатизацией медицины в городе. Он охватывает все процессы городской системы здравоохранения, начиная с электронной очереди в поликлинике и заканчивая прогнозированием занятости конкретных врачей. Благодаря ей специалисты различного профиля могут в любой момент получать необходимые данные о пациенте.

Что нужно делать:

• Airflow (python, airflow+dbt)
• Разработка и развертывание DAG-ов интеграции и трансформации
• Базовое администрирование Airflow и dbt внутри
• DBT и интеграции (python, sql, Clickhouse)
• Разработка моделей dbt и скриптов трансформации (создание потока)
• Разработка скриптов интеграции данных нестандартных источников с помощью python
• Разработка объектов данных БД (Clickhouse)
• Разработка скриптов интеграции (sql через коннекторы) ClickHouse (загрузка данных для стандартных источников)
• iDVP (собственный BI-инструмент)
• Создание и поддержка потоков данных (SQL) в iDVP.Data
• Разработка дашбордов (визуальных форм) в iDVP.Analytics
• Создание коннекторов ClickHouse (витрин в yaml) и связь с iDVP.Analytics
• Анализ данных и структур
• Анализ данных в Хранилище ClickHouse, разработка витрин (sql)
• Анализ данных в источниках для реализации задач интеграции и построения витрин
• Ревью кода (git)
• Перенос на prod (перенос в main-ветку git и на прод Хранилища) (Code review)

Какие знания и навыки нам важны:

• Уверенное знание Python (pandas) и опыт применения на практике;
• Написание сложных SQL-запросов и их оптимизация (ClickHouse, PostgreSQL);
• Опыт создания и сопровождения автоматизированных регулярных ETL процессов;
• Опыт внедрения и работы с Airflow и dbt;
• Опыт работы в Git для контроля версий и совместной разработки;
• Опыт работы с BI-инструментами для визуализации аналитических данных;
• Ценим инициативность, внимательность к деталям, умение эффективно работать как в команде, так и самостоятельно.

Что мы предлагаем:

• Драйвовые задачи и ресурсы для их реализации;
• Гибридный формат работы;
• Преимущества аккредитованной IT-компании;
• Материальную помощь в случае важных событий в жизни;
• Корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке;
• Корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие;
• Комьюнити по интересам;
• Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!