Data Engineer в Яндекс Практикум

Яндекс Практикум — это образовательный сервис, который помогает людям развивать свою карьеру: зайти в новую профессию с нуля или освоить новые навыки, чтобы преуспеть в текущей. Успех наших студентов — главная ценность для нас, а исследования делают результаты работы прозрачными.

За шесть лет существования Практикум, с одной стороны, сильно вырос, с другой — всё ещё сохранил атмосферу стартапа. Чтобы сделать лучший образовательный сервис, мы много экспериментируем и работаем с гипотезами, а также непрерывно улучшаем внутренние процессы.

Наша команда дата-инженеров разрабатывает, использует и развивает аналитическую инфраструктуру, на которой живёт вся аналитика, и помогает Практикуму принимать решения. Чтобы всё работало как положено, мы создаём, поддерживаем и эксплуатируем множество сервисов и инфраструктурных агентов, перенимаем полезный опыт. Мы стремимся применять лучшие практики DE, минимизировать рутинные задачи и автоматизировать эксплуатацию.

Какие задачи вас жду:

Развитие инфраструктуры обработки данных и логической архитектуры хранилища
Комплексная работа над инфраструктурой обработки данных и логической архитектурой центрального хранилища. Включает оптимизацию процессов, проектирование моделей данных, масштабирование системы и обеспечение согласованности данных.

Создание сервисов для ETL, мониторинга и оповещений
Разработка и поддержка сервисов обновления, трансформации данных (ETL), а также систем мониторинга их качества. Включает настройку алертов, автоматизацию контроля и обеспечение надёжности данных.

Реализация витрин данных из внутренних и внешних источников
Проектирование и наполнение витрин данных на основе сырых источников и внешних API. Задача охватывает очистку, агрегацию и предоставление структурированных данных для аналитики и бизнес-задач.

Мы ждем, что вы:

• Больше двух лет работали на аналогичной позиции
• Хорошо знаете SQL и понимаете устройство реляционных БД
• Работали со специализированными аналитическими БД: Greenplum, Vertica, ClickHouse, Teradata
• Разрабатывали ETL-процессы
• Пишете чистый оптимальный код на Python, который легко поддерживать и тестировать
• Готовы принимать решения и отвечать за них