Spark Tech Lead

Описание вакансии

Направление развития практик работы помогает пользователям работать с данными: создает и улучшает процессы, упрощает использование ресурсов Data Platform. Наши клиенты — более 10 тысяч аналитиков Т‑Банка.

Наша команда разрабатывает и контролирует соблюдение лучших практик разработки ETL-процессов и внедряет их в работу команд. Мы влияем на интегральные показатели эффективности и скорости разработки ETL-процессов.

Объем данных и количество наших пользователей быстро растут, поэтому мы развиваем новый стек для аналитики данных на технологиях Spark + Iceberg + S3.

Ищем профессионала, который возглавит внедрение нового стека в работу аналитиков. Вам предстоит сформировать центр компетенции аналитики в Spark + Iceberg + S3, организовать онбординг команд на новый стек, координировать постановку задач на доработку инструментов и выстраивание процессов.

Обязанности:

Решать сложные задачи по разработке нетипового ETL
Формировать лучшие практики разработки ETL на Apache Spark + S3 + Iceberg
Участвовать в проработке архитектурных решений в области ETL, проводить пилоты технологических решений
Наращивать инженерную культуру и уровень знания технологий среди команд — разработчиков ETL
Формировать требования к профессии инженера данных
Участвовать в найме сотрудников, менторить и развивать инженеров данных

Требования:

У вас есть опыт промышленной разработки на Apache Spark от 3 лет
Хорошо знаете один из табличных форматов — Iceberg, DeltaLake, Hudi
Есть практический опыт оптимизации задач на Spark
Знаете один из языков программирования — Python или Scala
Владеете SQL на уровне написания аналитических запросов

Условия:

Работу в офисе или удаленно — по договоренности
Платформу обучения и развития «Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
Комплексную программу заботы о здоровье. Оформим полис ДМС с широким покрытием и страховку от несчастных случаев. Предложим льготные условия страхования для ваших близких
Возможность работы в аккредитованной ИТ-компании
Линейку льготных тарифов на продукты Т‑Банка
Частичную компенсацию затрат на спорт
Well-being-программу, которая помогает улучшить психологическое и физическое здоровье, а также разобраться с юридическими и финансовыми вопросами
Три дополнительных дня отпуска в год
Достойную зарплату — обсудим ее на собеседовании