Big Data разработчик

Мы – СОВКОМБАНК ТЕХНОЛОГИИ

IT-компания финансовой Группы «Совкомбанк», топ-3 работодателей по версии Хабр Карьера.

У нас работает более 5000 специалистов. Мы развиваем экосистему карты рассрочки Халва, приложение Совкомбанк Инвестиции и собственные корпоративные продукты, проводим масштабные интеграции сервисов и компаний.

Присоединяйся к команде – давай вместе прокачивать финтех!

О ПРОЕКТЕ
Участие в проектах развития систем больших данных банка.
Построение с нуля современной датаплатформы для крупного банка - создание технологического фундамента, который станет основой для аналитики, машинного обучения и работы с данными в режиме реального времени.

Датаплатформа состоит из :
• S3 Lakehouse (на базе Data Ocean Nova) — гибкое хранилище для работы с большими данными.
• Feature Platform — платформа для управления ML-фичами собственной разработки.
• Profile 360 — высокопроизводительное хранилище оперативных данных собственной разработки.
• ML-платформа (Kubeflow) — инфраструктура для развертывания ML-моделей.

Вы будете участвовать в проектировании и разработке сложных ETL-пайплайнов (как batch, так и streaming), интегрирующих компоненты платформы и наполняющих платформу данными.

Поскольку мы создаем платформу с нуля — значительная часть работы будет посвящена R&D и выбору оптимальных технологий(как из open-source решений, так и из проприетарного стека Data Ocean Nova). Вам предстоит подбирать и тестировать инструменты, находить оптимальные решения для инфраструктурных и бизнес-задач, принимать ключевые решения, которые определят эффективность всей системы.

Вы присоединитесь к сильной команде профессионалов, имеющей опыт построения подобных систем. Вместе с вами над платформой будут работать системные архитекторы, системные аналитики, разработчики других частей платформы (Feature Platform, Profile 360, ML), QA- и DevOps-инженеры, а также команда поддержки. У нас слаженный коллектив, где каждый вносит вклад в общий успех.

СТЕК: Spark, NiFi, S3, Iceberg, K8S, Kafka, Airflow​​​​​​​

Обязанности:

• Разработка и поддержка ETL-процессов (batch и stream) для Lakehouse-платформы на базе S3
• Интеграция данных из разнородных источников (Kafka, CDC, реляционные СУБД, REST-сервисы)
• Участие в проектирование технических и архитектурных решений, необходимых для реализации бизнес-задач
• Взаимодействие с архитекторами, системными аналитиками, QA, DevOps
• Наставничество для новых членов команды

• Опыт в Big Data от 2+ лет (Lakehouse, Hadoop)
• Глубокое знание SQL, оптимизация запросов в MPP движках
• Знание Java/Scala на высоком уровне
• Понимание принципов работы Spark
• Практический опыт работы с потоковыми ETL-инструментами (NiFi, Flink, Kafka Connect), участие в проектах с онлайн потоковой аналитикой с большим количеством источников
  
  Будет плюсом:

• Знание Python на базовом уровне
• Понимание процесса разработки процессоров NiFi на Python/Java
• Опыт использования CDC инструментов (Debezium, Flink CDC) c Oracle/MS SQL/Postgres
• Участие в проектировании архитектуры Big Data решений
• Понимание принципов работы распределенных движков обработки данных Spark/Trino/Star Rocks/Impala
• Опыт работы с форматом Iceberg
• Опыт работы с CI/CD инструментами (Gitlab CI, Jenkins) Опыт работы с Docker, K8s
  

• Официальное оформление с первого дня – наша IT-компания аккредитована;
• Развитие профессиональной экспертизы: ты сможешь обучаться и посещать конференции и митапы за счёт Банка;
• Классная команда – мы за радость общения и дружбу в коллективе;
• Комфортный офис – у нас уютные рабочие пространства, комнаты отдыха с настольным теннисом, кикером, плойкой и другими плюшками;
• Коворкинги в Сочи и на Алтае – туда можно отправиться поработать и отдохнуть в режиме 4/3 за счёт Банка;
• Более 50 социальных программ – ДМС со стоматологией и страхованием от несчастных случаев и болезней, изучение английского, софинансирование летнего, зимнего и тематического отпуска, уникальные условия по продуктам и услугам Банка;
• Забота о детях: мы проводим праздники и экскурсии для детей наших сотрудников, софинансируем частный детский сад, отдых в лагере и подготовку к экзаменам;
• Много спорта: у нас есть клубы и секции, можно заниматься любым спортом за счёт Банка и участвовать в корпоративных турнирах и чемпионатах. Также мы софинансируем коллегам абонементы в фитнес-клубы;
• Вовлеченность, комфорт и свобода. У нас минимум бюрократии, нет дресс-кода, гибкое начало и завершение рабочего дня;
• Самая яркая корпоративная культура – летние IT-фесты, путешествия по России и за её пределами!