Дата-инженер (Big Data)

Центр Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания

Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.

Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа Банк, ОИС и другие.

Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений.

Сейчас мы ищем Дата-инженера (Big Data) в Банк ТОП-10.

Проект миграции.
Мигрируем с Hadoop - spark2.4/impala/hive на iceberg - spark3.+
Загрузки из Kafka, реализованные на Spark, как поточные - реализуем на Flink, как near-real-time.​​​​​​​

Предстоящие задачи:

• Анализ текущей и новой архитектур;
• Реализация скриптов для миграции данных из источников Hadoop в Iceberg;
• Корректировка существующих потоковых загрузок из Kafka с использованием Apache Flink для реализации near-real-time обработки;
• Разработка и настройка обработки данных в реальном времени, включая необходимые трансформации и агрегации;
• Настройка юнит-тестов и интеграционных тестов для новых компонентов;
• Написание документации по процессам миграции;
• Коммуникация с заказчиками по проекту.​​​​​​​

Что мы предлагаем:

• Удаленный формат работы;
• Деньги: белую ЗП всегда в рынке, оформление ТК РФ;
• Комфортный старт: 3 месяца плавного погружения под присмотром HR;
• Поддержка: ИТ-отсрочку и HR / юридические консультации 24/7;
• Культура: прозрачные процессы и открытую коммуникацию;
• Мощное железо: работу на лучших компах, мы не логируем время, у нас фокус на доверии и результате;
• ДМС: твое лечение за счет компании;
• Развитие: индивидуальный план обучения, конференции и митапы, мы помогаем развиваться и строить карьеру;
• Личный бренд: выступления на конференциях, митапах, написание статей;
• Бенефиты: ежеквартальное обновление корпоративных скидок;
• Движ: вечеринки оффлайн и онлайн, мерч, конкурсы и челленджи.