Разработчик Spark

Описание вакансии

Команда проекта занимается разработкой инструмента обработки данных. Коллеги консолидируют данные из различных внешних и внутренних источников, запускают пилотные проекты и обогащают данными в соответствии с требованиями бизнес-заказчиков. Для данных задач мы разрабатываем собственный инструмент загрузки и обработки данных.

Сейчас мы ищем коллегу на роль Разработчика Spark для работы в опытной команде. Присоединяйся к нашей команде и включайся в процесс разработки для банка Топ-5!

Твои задачи:

Разрабатывать пайплайны по обработке данных на Apache Spark Java/Scala
Осуществлять потоковую обработку данных
Объединять и фильтровать события из топиков
Обогащать события из Kafka ответами внешних сервисов
Обогащать события из Kafka точечными запросами в СУБД: реляционные / key-value

Мы ждем от тебя:

Опыт работы не менее 2 лет в роли разработчика на Apache Spark
Высшее техническое образование
Опыт работы с Hadoop: понимание архитектуры и процессов
Навыки работы с Реляционными БД: построение и оптимизация запросов, блокировки и транзакции
Опыт работы с Java: core, коллекции, многопоточность
Опыт работы с Apache Spark: core, оптимизации(планировщик запросов)

Что мы обеспечим:

Работа в гибкой методологии разработки
Возможность расширить свою экспертизу, используя современный стек технологий
Сессия профессионального развития персонала дважды в год, результатом которой является план индивидуального развития каждого сотрудника
Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
Сообщества по интересам: Лига Спорта, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании
Корпоративная культура со своими ценностями и традициями, в которой каждый человек чувствует себя частью команды
Новая техника для комфортной работы
Уютный и комфортабельный офис со стороны заказчика, в котором располагается собственное кафе, столовая, современный тренажерный зал, релакс зоны