Senior Data Engineer в Маркет

Яндекс

Senior Data Engineer в Маркет

Описание вакансии

Яндекс Маркет — один из крупнейших мультикатегорийных маркетплейсов, которым ежедневно пользуются миллионы людей. Наши команды помогают покупателям приобретать товары не выходя из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов.

Мы команда инженеров данных, и продукт нашей команды — Data WareHouse (хранилище данных), которое мы строим для нужд бизнес-подразделений. Нашими пользователями являются как руководители Маркета, которым нужна отчётность для принятия решений, так и эксперты в области глубокого анализа данных. Можно утверждать, что все бизнес-подразделения Маркета являются потребителями поставляемых нами данных.

Технологически ядро хранилища построено на системах хранения данных YTsaurus и СlickHouse. Разработка процессов ETL идёт на собственном фреймворке, который создан внутри Яндекса.

Наше хранилище данных сейчас одно из самых крупных в России — порядка 30 петабайт — и с учётом темпов роста бизнеса оно будет самым большим. Стоит отметить, что к нему предъявляются высокие требования по надёжности, что ставит перед нашей командой далеко не тривиальные задачи, для которых нет готовых решений.

Что нужно делать:

Принимать конечные сетевые решения по реализации поставок данных

В это входит проектирование схем поставок данных. Выбор подхода к внесению доработок в витрины за оптимальное время с минимизацией рисков от релизов. Критический взгляд на результат в интересах потребителей данных.

Развивать фреймворки обработки данных

Применяя существующие инструменты работы с данными выделять их недостатки. Продвигать повестку по их улучшению или поиску новых для более эффективного решения задач.

Лидировать реализацию сложных технических поставок

Понимая алгоритмическую составляющую инструментов находить эффективные решения в том числе упрощая постановку задачи

Мы ждем, что вы:

  • Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
  • Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
  • Хорошо понимаете принципы работы распроданных систем Hadoop или YTSaurus, ClickHouse
  • Умеете выбирать технологии для решения конкретных задач
  • Знаете основные алгоритмы и структуры данных, особенно используемые в области работы с большими данными
  • Имеете опыт работы от 3х лет
  • Имеете работать в командной строке систем Unix-like: Linux, macOS

Будет плюсом, если вы:

  • Имеете опыт промышленной разработки на C++
  • Имеете опыт работы в E-com отрасли
  • Имели опыт решения задач в роли аналитика или опыт управления командой или проектами

Навыки
  • Python
  • SQL
  • ETL
  • Clickhouse
Посмотреть контакты работодателя

Похожие вакансии

Рунити
Удаленная работа
  • Санкт-Петербург

  • Не указана

Рекомендуем
BLACKHUB GAMES

Data Engineer

BLACKHUB GAMES

Удаленная работа
  • Санкт-Петербург

  • Не указана

Рекомендуем
СБЕР
Полный день
  • Санкт-Петербург

  • Не указана

Рекомендуем
СБЕР
Полный день
  • Санкт-Петербург

  • до 480000 RUR

Цементум Центр

Data Engineer (инженер данных)

Цементум Центр

Удаленная работа
  • Санкт-Петербург

  • до 480000 RUR

Employcity
Полный день
  • Санкт-Петербург

  • до 480000 RUR

KASSIR.RU
Удаленная работа
  • Санкт-Петербург

  • до 480000 RUR

Криптонит

Data Engineer (Senior/Middle)

Криптонит

Полный день
  • Санкт-Петербург

  • до 480000 RUR

AdRiver
Полный день
  • Санкт-Петербург

  • до 480000 RUR

Вайт Код

Senior Python developer

Вайт Код

Полный день
  • Санкт-Петербург

  • до 480000 RUR

Нетрика Медицина

Ведущий разработчик

Нетрика Медицина

Полный день
  • Санкт-Петербург

  • до 480000 RUR

Сравни

Data Engineer

Сравни

Удаленная работа
  • Санкт-Петербург

  • до 480000 RUR

Метр квадратный
Полный день
  • Санкт-Петербург

  • до 480000 RUR

Совкомбанк Технологии

Big Data разработчик

Совкомбанк Технологии

Полный день
  • Санкт-Петербург

  • до 480000 RUR

Maxim technology

Data analyst/Data Science

Maxim technology

Удаленная работа
  • Санкт-Петербург

  • до 480000 RUR

Криптонит
Полный день
  • Санкт-Петербург

  • до 480000 RUR

Леста Игры

Data Engineer

Леста Игры

Полный день
  • Санкт-Петербург

  • до 480000 RUR

Яндекс
Полный день
  • Санкт-Петербург

  • до 480000 RUR

Bercut
Удаленная работа
  • Санкт-Петербург

  • до 480000 RUR

MIE&MIESTILO
Полный день
  • Санкт-Петербург

  • до 480000 RUR

Хотите оставить вакансию?

Заполните форму и найдите сотрудника всего за несколько минут.
Оставить вакансию