Data Engineer (Hadoop)

Медиалогия

Data Engineer (Hadoop)

Москва, Новодмитровская улица, 2к2

Метро: Дмитровская

Описание вакансии

Медиалогия — лидер в разработке продуктов для мониторинга и анализа данных из СМИ и социальных медиа.

Наши системы обрабатывают 100+ млн сообщений в сутки (1.7 млрд метрик), сканируя интернет в режиме реального времени. С помощью уникальных лингвистических технологий мы помогаем клиентам анализировать упоминания в соцсетях, блогах, форумах и управлять репутацией.

Чем предстоит заниматься:

  • Разработка и оптимизация ETL/ELT-конвейеров для обработки больших данных.

  • Настройка и администрирование Hadoop/Spark-инфраструктуры (HDFS, YARN, Hive, HBase).

  • Оптимизация распределенных вычислений и запросов.

  • Работа с потоковыми данными (Kafka, Spark Streaming, RabbitMQ).

  • Участие в проектировании и масштабировании архитектуры данных.

  • Автоматизация процессов с использованием DevOps-практик (Docker, CI/CD).

Ключевые требования:

  • Опыт работы с Java/Scala и Big Data-фреймворками (Apache Spark, Hadoop).

  • Глубокие знания Hadoop-экосистемы (YARN, HDFS, Hive, HBase, Parquet).

  • Опыт оптимизации производительности распределенных систем.

  • Работа с потоковой обработкой (Kafka, Spark Streaming).

  • Навыки работы с SQL/NoSQL (PostgreSQL, MS SQL, MongoDB).

Будет плюсом:

  • Опыт с PySpark, Flink, Airflow.

  • Знание Elasticsearch, ClickHouse, Vertica.

  • Навыки настройки кластеров и инфраструктуры.

Что мы предлагаем:

  • Официальное оформление по ТК РФ, белую зарплату.

  • Гибкий график и удалённый формат работы.

  • ДМС (включая международную страховку после испытательного срока).

  • Массажист в офисе.

Развитие и возможности:

  • Участие в сложных Big Data-проектах с высокой нагрузкой.

  • Карьерный рост в сильной data-команде.

  • Посещение профильных конференций за счет компании.

  • Система лояльности с партнёрами.

Посмотреть контакты работодателя

Адрес

Похожие вакансии

Юрент

Data Engineer

Юрент

Удаленная работа
  • Москва

  • Не указана

Рекомендуем
билайн
Удаленная работа
  • Москва

  • Не указана

Рекомендуем
X5 Tech
Удаленная работа
  • Москва

  • Не указана

Рекомендуем
SSP SOFT

Data Engineer

SSP SOFT

Удаленная работа
  • Москва

  • Не указана

LIAN
Удаленная работа
  • Москва

  • до 350000 RUR

Дата Дженерейшн

Data Engineer

Дата Дженерейшн

Удаленная работа
  • Москва

  • до 250000 RUR

Corporate Performance Systems

Data Engineer

Corporate Performance Systems

Удаленная работа
  • Москва

  • до 250000 RUR

ТрансЛом
Удаленная работа
  • Москва

  • до 250000 RUR

Flowwow
Удаленная работа
  • Москва

  • до 250000 RUR

X5 Tech
Удаленная работа
  • Москва

  • до 250000 RUR

Платформа

Data Engineer

Платформа

Удаленная работа
  • Москва

  • до 250000 RUR

АО «ОТП Банк» (JSC «OTP Bank»)

Hadoop инженер (Трайб Data Office)

АО «ОТП Банк» (JSC «OTP Bank»)

Удаленная работа
  • Москва

  • до 250000 RUR

WILDBERRIES
Удаленная работа
  • Москва

  • до 250000 RUR

DZ Systems
Удаленная работа
  • Москва

  • до 250000 RUR

Цементум Центр

Data Engineer (инженер данных)

Цементум Центр

Удаленная работа
  • Москва

  • до 250000 RUR

Точка
Удаленная работа
  • Москва

  • до 490000 RUR

GlowByte
Удаленная работа
  • Москва

  • до 490000 RUR

Рунити
Удаленная работа
  • Москва

  • до 490000 RUR

АНО ЦИСМ

Data Engineer

АНО ЦИСМ

Удаленная работа
  • Москва

  • до 490000 RUR

S8 Capital
Удаленная работа
  • Москва

  • до 490000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию