Data Engineer

Описание вакансии

Чем предстоит заниматься

• Миграция интеграций корпоративного хранилища данных между платформами Hadoop от разных поставщиков

• Рефакторинг интеграций в экосистеме Hadoop, в частности переход от Hive к Spark SQL

• Оптимизация ETL процессов в среде Hadoop

Что для этого нужно

• Высшее техническое образование

• Опыт работы в IT от 3х лет

• Опыт проектирования и разработки хранилищ данных и ETL-процессов (опыт использования Apache AirFlow будет преимуществом)

• Глубокое понимание архитектуры Hadoop (HDFS, MapReduce), умение конфигурировать настройки параметров сессий.

• Опыт использования технологий Apache Spark, Apache Iceberg, Apache Ozone

• Уверенное владение языком Python (библиотеки Pandas, NumPy, PySpark API)

• Опыт работы с Trino или Amazon S3, как преимущество

Навыки
  • Hadoop
  • ETL
  • Python
Посмотреть контакты работодателя

Похожие вакансии

Газпромбанк

Data Engineer

Газпромбанк

Удаленная работа
  • Москва

  • Не указана

Рекомендуем
Skillbox

Data Engineer

Skillbox

Удаленная работа
  • Москва

  • Не указана

Рекомендуем
ТехВилл

Data Engineer

ТехВилл

Удаленная работа
  • Москва

  • до 320000 RUR

Рекомендуем
Flowwow
Удаленная работа
  • Москва

  • от 270000 RUR

Концепт Разработка

Разработчик DWH/Data Engineer (Python, DBT)

Концепт Разработка

Удаленная работа
  • Москва

  • от 270000 RUR

СП Солюшен

Senior Data Engineer

СП Солюшен

Удаленная работа
  • Москва

  • от 270000 RUR

РСХБ-Интех
Удаленная работа
  • Москва

  • от 270000 RUR

ROSSKO

Data Engineer

ROSSKO

Удаленная работа
  • Москва

  • от 260000 RUR

Северсталь

Data Engineer (GenAI)

Северсталь

Удаленная работа
  • Москва

  • от 260000 RUR

Диплей

Data Engineer [Senior]

Диплей

Удаленная работа
  • Москва

  • от 260000 RUR

LIAN
Удаленная работа
  • Москва

  • до 290000 RUR

RDP.RU
Удаленная работа
  • Москва

  • до 290000 RUR

РТК-ЦОД

Senior Data Engineer

РТК-ЦОД

Удаленная работа
  • Москва

  • до 290000 RUR

ARK
Удаленная работа
  • Москва

  • до 450000 RUR

Effective
Удаленная работа
  • Москва

  • до 400000 RUR

Дата Дженерейшн

Data Engineer

Дата Дженерейшн

Удаленная работа
  • Москва

  • до 340000 RUR

Лемана ПРО

Дата инженер

Лемана ПРО

Удаленная работа
  • Москва

  • до 340000 RUR

СБЕР
Удаленная работа
  • Москва

  • до 340000 RUR

Beresnev Games

Senior Data Engineer

Beresnev Games

Удаленная работа
  • Москва

  • до 340000 RUR

Линсофтверпродакшн

Middle+ / Senior Data-инженер

Линсофтверпродакшн

Удаленная работа
  • Москва

  • до 370000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию