ETL-инженер

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7.

Чем занимается продукт:

ЕМИАС - одна из крупнейших в мире цифровых платформ, которая насчитывает более 18 миллионов граждан в базе данных, охватывает в единый цифровой контур более 1000 зданий столичных медучреждений амбулаторного, стационарного звена и бригады скорой и неотложной помощи, обеспечивая непрерывность и преемственность всех этапов лечения. ЕМИАС занимается информатизацией медицины в городе. Она охватывает все процессы городской системы здравоохранения, начиная с электронной очереди в поликлинике и заканчивая прогнозированием занятости конкретных врачей. Благодаря ей специалисты различного профиля могут в любой момент получать необходимые данные о пациенте.

• Airflow (python, airflow+dbt)
  1.1 Разработка и развертывание DAG-ов интеграции и трансформации
  1.2. Базовое администрирование Airflow и dbt внутри
• DBT и интеграции (python, sql, Clickhouse)
  2.1 Разработка моделей dbt и скриптов трансформации (создание потока)
  ​​​​​​​2.2 Разработка скриптов интеграции данных нестандартных источников с помощью python
  2.3 Разработка объектов данных БД (Clickhouse)
  2.4 Разработка скриптов интеграции (sql через коннекторы) ClickHouse (загрузка данных для стандартных источников)
• iDVP (собственный BI-инструмент)
  3.1 Создание и поддержка потоков данных (SQL) в iDVP.Data
  3.2 Разработка дашбордов (визуальных форм) в iDVP.Analytics
  3.3 Создание коннекторов ClickHouse (витрин в yaml) и связь с iDVP.Analytics
• Анализ данных и структур
  4.1 Анализ данных в Хранилище ClickHouse, разработка витрин (sql)
  4.2 Анализ данных в источниках для реализации задач интеграции и построения витрин
• Ревью кода (git)
  5. Перенос на prod (перенос в main-ветку git и на прод Хранилища) (Code review)

• Уверенное знание Python (pandas) и опыт применения на практике;
• Написание сложных SQL-запросов и их оптимизация (ClickHouse, PostgreSQL);
• Опыт создания и сопровождения автоматизированных регулярных ETL процессов;
• Опыт внедрения и работы с Airflow и dbt;
• Опыт работы в Git для контроля версий и совместной разработки;
• Опыт работы с BI-инструментами для визуализации аналитических данных;
• Ценим инициативность, внимательность к деталям, умение эффективно работать как в команде, так и самостоятельно.​​​​​​​

​​​​​​​​​​​​​​​​​​​​​Что предлагаем:

• ​​​​​​​​​​​​​​​​​​​​​​​​​​Оформление по ТК РФ, полностью белая зарплата
• Мы - аккредитованная ИТ компания
• Участие в социально значимых проектах для жителей города
• Команда экспертов, в которой коллеги всегда поддерживают друг друга
• Выстроенная система адаптации новых сотрудников
• Возможность поработать с самыми разными технологиями и решениями, применять новое в работе
• Адаптивная система обучения за счет компании
  
  Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!

​​​