Инженер данных

Департамент информационных технологий Москвы создает и развивает цифровые проекты, которые делают столицу комфортнее, а жизнь горожан — удобнее и мобильнее. Для системы управления столицей технологии — это незаменимый инструмент, который применяется во всех отраслях экономики, городского хозяйства и социальной сферы. А для миллионов горожан — повседневный помощник, который позволяет получать сотни услуг и сервисов в удобном цифровом формате в режиме 24/7

Что нужно делать:

• Настраивать пайплайны загрузки данных.
• Модернизировать архитектуру кластера в Clickhouse (распределение нагрузки между ВМ для увеличения скорости выполнения запросов заказчиков).
• Оптимизировать и автоматизировать процессы ETL/ELT, включая внедрение лучших практик и новых технологий.
• Проводить код-ревью запросов.
• Создавать агрегированные витрины для расчета метрик.
• Выделять отдельные контуры в БД в целях ограничения доступа к данным.
• Реализовывать интеграции с различными источниками (API, DB, apps).
• Обеспечивать целостность, надежность и безопасность данных на платформе.
• Разрабатывать и поддерживать документацию, схемы данных и метаданных.
• Взаимодействовать с другими подразделениями компании для определения требований к архитектуре и обеспечения их реализации.

Какие знания и навыки нам важны:

• Опыт работы в роли – от 3 лет;
• Знание понятий и концепций DWH;
• Python (Pandas / Numpy / REST API / Flask / SQLalchemy);
• SQL (хранимые процедуры / транзакции / представления / оптимизация);
  Airflow / NiFi;
• Bash / Docker / k8s / CI/CD и прочий DevOps/Git;
• Опыт создания и внедрения хранилищ данных;
• Глубокие знания архитектуры платформ данных, ETL/ELT процессов (батч/стрим) и методов обработки данных.
• Знание современных технологий и инструментов для работы с большими данными (Airflow, Kafka, Spark, BigQuery и др.).
• Знание основных структур данных и алгоритмов
• Cамостоятельность и ответственность за результат.
• Проактивность
• Отличные коммуникативные навыки - важно уметь работать в команде.
• Умение работать в динамичной среде и адаптироваться к изменениям.

Что мы предлагаем:

• Драйвовые задачи и ресурсы для их реализации;
• Гибридный формат работы;
• Преимущества аккредитованной IT-компании;
• Материальную помощь в случае важных событий в жизни;
• Корпоративное обучение у топовых провайдеров и доступ к онлайн-библиотеке;
• Корпоративные тренировки и спортивные активности - бег, футбол, волейбол, баскетбол, теннис и другие;
• Комьюнити по интересам;
• Скидки от партнеров на ДМС, связь, развлечения, подарки, спорт и т.д.

• Стань частью команды ДИТ Москвы и воплощай в жизнь цифровые проекты столицы!