Staff engineer (Spark)

Мы – отдел, сфокусированный на создании и улучшении процессов работы пользователей с аналитикой данных, использовании ресурсов платформы данных. Наши клиенты- аналитики компании, что работают с данными (более 10 тысяч человек). В связи с быстрым ростом объёма данных и количества пользователей, мы развиваем новый стек для аналитики данных на технологиях Spark + Iceberg + S3.

Ищем целеустремлённого профессионала, который возглавит внедрение нового стека в работу аналитиков

Тебе предстоит сформировать центр компетенции аналитики в Spark + Iceberg + S3, организовать онбординг команд на новый стек, координировать постановку задач на доработку инструментов и выстраивание новых процессов.

Требования:

• Опыт работы аналитиком данных от 5 лет
• Экспертное знание SQL
• Уверенное владение Apache Spark на Python
• Опыт с любой средой для создания аналитических ноутбуков (JuPyter, Zeppelin, и т.п.)
• Опыт разработки на Python или Java

Будет плюсом:

• Опыт работы с Spark оr Kubernetes
• Опыт работы с Iceberg
• Владение BI-инструментами
• Опыт обучения коллег/менторства
• Опыт работы с MPP БД Greenplum
• Опыт ведения кросскомандных проектов

Обязанности:

• Перевод аналитических рутин на Spark + Iceberg + S3
• Формирование компетенции по аналитике данных на Spark
• Исследование инструментов для работы с данными
• Сбор бизнес-требований внутренних заказчиков, исследование клиентских путей
• Постановка задач на доработку внутренних аналитических инструментов для упрощения клиентских путей