Data Engineer

О компании:
DUC Technologies – это быстроразвивающаяся консалтинговая компания в сфере IT, специализирующаяся на решениях в области управления данными, AI и прикладной Python-разработки.

Мы уже более 3 лет на рынке IT и за это время зарекомендовали себя как надежный партнер и работодатель.

Наша команда экспертов в сфере Big Data успешно работает в формате удаленного it-отдела. И будет рада принять тебя в теплую атмосферу нашей команды. Мы уважаем дисциплинированных, активных, ответственных и неординарных сотрудников.

• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
• Работать с общебанковской data-платформой (data lake, dwh);
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты

​​​​​​• Опыт работы в данной роли от 3 лет;
• Знание SQL на уровне оптимизации сложных запросов;
• Знание принципов работы классических и MPP-СУБД;
• Опыт оркестрации ETL-пайплайнов с помощью Airflow;
• Опыт работы с dbt;
• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Опыт Apache Spark (Spark DataFrames, Spark SQL);
• Знание банковской предметной области;
• Опыт работы на финтех проекте;
• Опыт работы с Greenplum/понимание (почти весь проект на нем)
• Hbase;

Дополнительные требования:
• Опыт работы с Kafka, Trino;
• Опыт разработки на Python и/или Java, Scala;
• Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm;
• Знания и опыт CI/CD-практик и инструментов.

Почему стоит выбрать нас?
DUC Technologies – это команда профессионалов, которые ценят комфорт сотрудников, предлагают дружелюбную атмосферу и стабильные условия для развития и работы.

Присоединяйтесь к нам и станьте частью быстрорастущей IT-компании!