Data Engineer

Мы в поисках дата-инженера на задачи по построению витрин данных для разработки и применения моделей, аналитики и построения риск-отчетности.
Работа в команде построена по методологии Agile: дата-инженеры привлекаются на всех стадиях проекта, от анализа требований и архитектуры до внедрения/сопровождения витрины/модели. Желание профессионально расти и самостоятельность в принятии решений приветствуются.

Задачи:

• Проектирование и разработка витрин данных для целей моделирования, аналитики и отчетности;
• Анализ исходных данных в различных СУБД (Hadoop, DWH, системы-источники) и форматах для решения бизнес-задач (оценка структуры, качества, полноты и применимости данных);
• Самостоятельное извлечение, очистка, загрузка и трансформация данных из различных источников (RDBMS, Hadoop, плоские файлы) в рабочую область (Hadoop);
• Подготовка требований на внедрение промышленных ETL-процессов загрузки данных из источников и формирования витрин;
• Участие в проработке архитектуры data flow и модели данных;• Подготовка требований на внедрение моделей в промышленный контур и участие во внедрении;

• Контроль качества загружаемых данных, разработка автоматизированных инструментов для оценки качества данных
• Предоставление экспертной поддержки внутренним потребителям (data analysts, data scientists) по вопросам, связанным с использованием данных

•  Участие во всех жизненных циклах разработки программного обеспечения (проектирование, аналитика, разработка, тестирование, внедрение, сопровождение внедрения и внедренных решений) в качестве разработчика
•  Умение писать SQL-запросы средней и высокой сложности (с использованием join-ов, подзапросов и оконных функций)
•  Понимание смысла использования скоринговых моделей;
•  Работа с интеграциями;
•  Опыт тестирования ETL процессов посредством SQL-скриптов
•  Умение анализировать код

Требования к профессиональным компетенциям

 Личные качества: ответственность, внимательность к деталям, проактивность, ориентированность на результат;

 Требования к знаниям предметной области:

• Опыт работы в качестве Data Engineer / Data Analyst не менее 1 года;
•  Продвинутый уровень SQL (аналитические функции, подзапросы, хранимые процедуры, оптимизация запросов);
•  Знание теории реляционных СУБД, основных понятий и концепций Data Warehousing и Big Data;
•  Приветствуется опыт работы со стеком технологий Big Data (Hadoop, Spark, Hive/Impala);
•  Навыки работы с Git, BitBucket, Confluence, Jira;
•  Преимущество: уверенное владение Python для анализа/обработки данных;,
•  Преимущество: опыт работы в финансовой индустрии, банках с фокусом на корпоративном направлении / в рисках;

• Мы предлагаем полностью удаленный формат или гибрид из офис в Москве, рядом с м. Добрынинская/Серпуховская
• Расширенный полис медицинского страхования, включаюзий врачей ысех профилей в различных сетевых клиниках очно и онлайн
• Круглосуточная юридическая, психологическая , финансовая и даже ветеринарная онлайн поддержка вас и членов вашей семьи
• Доступ к корпоративному университету и бибилиотекам МИФ, Альпина оп корпоративной подписке
• Регулярные процедуры оценки и карьерного развития/роста