Старший инженер данных

Обязанности:

• Разработка и поддержка ETL/ELT-конвейеров для сбора, обработки и трансформации данных из различных источников в Data Lake и другие ИС

• Проектирование и разработка витрин данных, подготовка датасетов

• Создание, мониторинг и оптимизация процессов загрузки и обработки данных

• Развертывание и настройка Spark, Airflow, Kafka в k8s

• Развертывание и настройка баз данных ClickHouse, PostgreSQL

• Сборка и публикация docker-образов для развёртывания в k8s

• Разработка и развитие pipeline CI/CD в продукте (gitlab)

• Разработка и развитие ML, внедрение LLM

• Управление командой из 2 человек (1 DE + 1 DS)

Требования:

• Опыт работы инженером по обработке данных

• Опыт разработки решений для Big Data, BI

• Опыт развёртывания и управления кластерами Spark, Kafka, Airflow

• Опыт работы с реляционными и нереляционными СУБД

• Работа с контейнерными оркестраторами (kubernetes)

• Опыт администрирования серверов баз данных (postgresql, clickhouse)

Условия:

• Оформление в соответствии с ТК РФ (оплачиваемый отпуск, больничный).
• Конкурентоспособная заработная плата (обсуждается по результатам собеседования).
• Соц. пакет (ДМС, корпоративная мобильная связь).
• Возможности для профессионального развития.
• График работы 5/2 Пн-Чт. 9.00-18.00, Пт. 9.00-16.45 (возможен удаленный график работы)