Метадата Инженер | Metadata Manager/Engineer

AliExpress

Метадата Инженер | Metadata Manager/Engineer

Москва, Пресненская набережная, 10блокС

Описание вакансии

Главная задача команды Data Platform – поддерживать и развивать хранилище больших данных и инструменты для работы с ними. Сейчас мы находимся в поисках сильного Metadata Engineer, которому предстоит работать с мета данными и автоматизировать процессы команд Data Platform. Если тебе интересно разбираться с нюансами в работе разных инструментов и с помощью данных описывать, что происходит на платформе и как используются ресурсы, а также влиять на процессы и автоматизировать рутину, то эта вакансия для тебя.

Чем предстоит заниматься:

  • разрабатывать процессы сбора меты для datalake и систематизировать эти данные;
  • развивать имеющийся процесс сбора меты для datalake при помощи написания и корректировки ETL (pyspark) процессов и сервисов на python;
  • автоматизировать процессы обслуживания дата платформы;
  • визуализировать мету с помощью каталога данных и системы отчетов;
  • участвовать в разработке базы знаний команды.

Требования:

  • опыт работы с Python от 1 года и более;
  • опыт работы с Airflow, dagster, Luigi, Argo или похожим инструментом;
  • умение получать и загружать данные из разных форматов, в том числе с помощью REST API;
  • знание SQL (DDL, DML, оконные функции);
  • готовность разбираться с незнакомыми инструментами/системами;
  • желание развиваться в сфере BigData.

Будет плюсом:

  • знание стека Hadoop (Hive, Spark и т.д.);
  • опыт разработки сервисов на Python;
  • опыт работы с PostgreSQL, Kafka;
  • опыт использования системы отчетов для подготовки отчетов(Superset, Tableau и т.д.).

Условия:

  • сильная команда, с которой можно расти;
  • петабайты данных и огромные мощности для их переваривания;
  • сложные, нетривиальные задачи для маркетплейса с миллионами пользователей;
  • возможность влиять на процесс и результат;
  • ДМС со стоматологией;
  • гибкий график работы, гибридный или удалённый формат работы;
  • достойная зарплата;
  • MacBook или ноутбук Windows.
Посмотреть контакты работодателя

Адрес

Похожие вакансии

Corporate Performance Systems

Data Engineer

Corporate Performance Systems

Удаленная работа
  • Москва

  • Не указана

Рекомендуем
АО «ОТП Банк» (JSC «OTP Bank»)

Hadoop инженер (Трайб Data Office)

АО «ОТП Банк» (JSC «OTP Bank»)

Удаленная работа
  • Москва

  • Не указана

Рекомендуем
MNOGOGAMES
Удаленная работа
  • Москва

  • Не указана

Рекомендуем
Valiotti Analytics

Data Engineer (Junior)

Valiotti Analytics

Удаленная работа
  • Москва

  • Не указана

KASSIR.RU
Удаленная работа
  • Москва

  • Не указана

АНО ЦИСМ

Data Engineer

АНО ЦИСМ

Удаленная работа
  • Москва

  • Не указана

Cloud.ru
Удаленная работа
  • Москва

  • Не указана

Рунити
Удаленная работа
  • Москва

  • Не указана

Цементум Центр

Data Engineer (инженер данных)

Цементум Центр

Удаленная работа
  • Москва

  • Не указана

Бизнес-Азимут

Hadoop инженер

Бизнес-Азимут

Удаленная работа
  • Москва

  • до 270000 RUR

WILDBERRIES
Удаленная работа
  • Москва

  • до 270000 RUR

Ростелеком Информационные Технологии

Data Engineer ML

Ростелеком Информационные Технологии

Удаленная работа
  • Москва

  • до 270000 RUR

Outlines Technologies
Удаленная работа
  • Москва

  • до 269000 RUR

Ситидрайв

Data Engineer (middle)

Ситидрайв

Удаленная работа
  • Москва

  • до 269000 RUR

Рестрим Медиа

Data Engineer

Рестрим Медиа

Удаленная работа
  • Москва

  • до 269000 RUR

ГК Орбита

Python ML-инженер (LLM)

ГК Орбита

Удаленная работа
  • Москва

  • до 269000 RUR

Стрит Фалькон
Удаленная работа
  • Москва

  • от 200000 RUR

Юрент

Data Engineer

Юрент

Удаленная работа
  • Москва

  • от 200000 RUR

БФТ-Холдинг
Удаленная работа
  • Москва

  • от 200000 RUR

Bell Integrator

LLMOps-инженер

Bell Integrator

Удаленная работа
  • Москва

  • от 200000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию