Data Engineer (Spark)

В проекте "Grapher", ключевом драйвере монетизации внутренней платформы работы с данными "Profiles Platform", открыта вакансия инженера по разработке высоконагруженных систем. Grapher - это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий:

• Скоринг по окружению: оценка кредитных рисков на основе 2-hop сетей контактов
• BAF (Bring a Friend): подбор наиболее релевантных рефералов
• Антифрод: выявление мошеннических схем и аномалий в связях
• Telesales: рекомендация целевых продуктов под каждого клиента по уго окружению

В рамках обновления платформы тебе предстоит:

1. Решать задачи заливки и обогащения больших объемов данных в кассандру.
2. Разрабатывать и интегрировать расчёт графовых метрик (Jaccard, Dice, PageRank и др.) с построением соответствующих пайплайнов
3. Реализовать выдачу 2-hop окружения для OLTP и OLAP запросов
4. Оптимизировать скорость и надёжность выполнения запросов

Требования:

• Опыт промышленной разработки на Apache Spark от 3 лет
• Хорошее знание одного из табличных форматов: Iceberg, DeltaLake, Hudi
• Практический опыт оптимизации задач на Spark
• Знание одного из языков программирования — Java ( в приоритете), Python, Scala
• Владение SQL на уровне написания аналитических запросов
• Хорошие навыки презентации и/или обучения

Условия:

• Работу в офисе или удаленно — по договоренности

• Возможность работы в аккредитованной ИТ-компании

• Платформу обучения и развития «Т‑Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии

• Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким

• Бесплатный фитнес-зал или компенсацию затрат на спортивные занятия

• 3 дополнительных дня отпуска в год

• Уникальную well-being-программу, направленную на физическое и ментальное благополучие сотрудников

• Достойную зарплату — обсудим ее на собеседовании