Data Engineer

О Deventica

Deventica - это компания в сфере IT услуг, специализирующаяся на комплексной разработке заказного программного обеспечения, подборе IТ-персонала для стартапов, малого и среднего бизнеса, а также крупных предприятий. Мы помогаем нашим клиентам придумывать, проектировать, создавать и выпускать программное обеспечение для бизнеса, независимо от того, нужна ли полностью готовая команда, несколько сотрудников или отдельные инженеры.

Сейчас мы ищем Data Engineer на проект нашего клиента.

Обязанности:

• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку
• Работать с общебанковской Data-платформой (Data Lake, DWH)
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты

Требуемые навыки:

• Опыт работы в данной роли от 5 лет (строго коммерческий опыт)

• Знание SQL на уровне оптимизации сложных запросов

• Знание принципов работы классических и MPP-СУБД

• Опыт разработки на Python и/или Java, Scala

• Опыт оркестрации ETL-пайплайнов с помощью Airflow

• Опыт работы с DBT

• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop)

• Опыт Apache Spark (Spark DataFrames, Spark SQL)

• Знание банковской предметной области

• Опыт работы на Финтех-проекте

Будет плюсом:

• Опыт работы с Kafka, Trino

• Опыт работы с контейнерными технологиями и оркестрацией: Kubernetes, Helm

• Знания и опыт CI/CD-практик и инструментов

Почему вам понравится здесь работать

• Дружная команда профессионалов, с которой легко работать

• Аккредитованная компания, которая входит в перечень организаций аккредитованных Минцифры

• Конкурентная заработная плата в соответствии с вашим опытом работы и навыками

• Компенcация мед услуг

• Гибкий график работы

До встречи в Deventica!