Data Engineer в MetaDWH

Яндекс богат своей внутренней инфраструктурой: в неё входят десятки взаимосвязанных сервисов, включая высоконагруженные системы вычислений с тысячами внутренних пользователей. Такая инфраструктура нуждается в системе, которая объединяет данные об её использовании и позволяет их анализировать.

Meta DWH — сервис и команда, которая занимается сбором, хранением, подготовкой и анализом данных по домену внутренней инфраструктуры. На основе этих данных команда создаёт приборы здоровья инфраструктурных компонентов, дашборды для анализа их состояния, алерты и рекомендации по внесению изменений в паттерны использования. Мы помогаем находить узкие места, неоптимальности в использовании и точки роста эффективности для всего Яндекса.

Какие задачи вас ждут:

Построение инфраструктурного DWH
К примеру, вам предстоит понять, как устроена система распределённых вычислений YTsaurus, в чём специфика её работы, какие данные она генерирует и как их анализировать. Необходимо создать эффективные процессы сбора и хранения этих данных (DWH), чтобы легко анализировать их и принимать решения на их основе.

Создание инструментов для анализа потребления ресурсов
Сотни команд используют инфраструктуру обработки больших данных для своих задач. Цель — увеличить долю пользователей, которые активно занимаются оптимизациями, и дать ответственным за «железо» понимание того, на что тратятся ресурсы и где их можно использовать эффективнее.

Улучшение инструментов Data Governance
DataCatalog — сервис для предоставления метаинформации о данных, получения связей между данными и коммуникации между их поставщиками и потребителями. Вам предстоит подготавливать данные для этого сервиса, улучшать их связность, ускорять поставку для решения реальных каждодневных задач пользователей.

Мы ждем, что вы:

• уверенно пишете код на Python — он будет полезен для написания скриптов и автоматизации процессов;
• знакомы с диалектами SQL
• внимательны к деталям и знаете, как провалидировать полученный результат;
• умеете представлять результаты своей работы в лаконичной и понятной форме
• готовы общаться с большим количеством смежных команд
• хотите развиваться в области дата-инженерии и инфраструктуры больших данных;

Будет плюсом, если вы:

• Работали с инструментами визуализации — мы используем Yandex DataLens
• Работали в коммерческой технологической компании.