Data Engineer

SberDevices - новое направление компании, которое занимается созданием девайсов для массового пользователя и продуктов на основе речевых и голосовых технологий и многими другими интересными проектами.

Наша команда занимается развитием Data Platform (платформы данных).

Обязанности

• развивать платформу как self-service для аналитиков – разрабатывать новые сервисы и фичи для удобства пользователей
• участвовать в проектировании и модернизации инфраструктуры
• поддерживать существующий функционал
• внедрять процедуры контроля качества данных
• оптимизировать и автоматизировать существующие процессы – никакого массового ручного клепания витрин и написания одинаковых ETL

Требования

• умение проектировать и разрабатывать пайплайны обработки данных с использованием инструментов планирования задач - Airflow, Oozie, Luigi и т.п. (у нас Airflow)
• опыт работы с МПП подобными системами таким как Greenplum, GaussDB и колоночными БД ClickHouse, Vertics и т.д. (у нас GaussDB и ClickHouse)
• опыт работы с S3 подобными системами (Amazon S3, Minio, Ceph)
• опыт работы с очередями Kafka, RabbitMq
• опыт применения технологии моделирования данных с высокой степенью нормализации Data Vault и/или Anchor modeling
• общие знания computer science на высоком уровне (алгоритмы, структуры данных, сложность по времени» и т.д.)
• навыки работы с unix-подобными системами, знание базовых GNU core tools(grep, cat, more, top, tail, less, ps, wc, xargs, sed, awk и т.п.)
• опыт работы со стеком Hadoop (YARN, HDFS, HBase, Hive) будет плюсом
• базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform)
• опыт работы с инструментов BI (SuperSet, Metabase, Tableau, Power BI) будет плюсом

Условия

• гибкий стек инструментов и технологий – можно пробовать новое, если точно знаете, зачем
• адекватный подход к управлению – мы не ставим нереальных сроков и не предлагаем поработать в выходной ради высшего блага
• работа с крупнейшими массивами данных на рынке России
• гибкий график для оптимального баланса работы и личной жизни, возможна удалёнка
• дружный коллектив и здоровая атмосфера взаимопомощи
• амбициозные задачи
• профессиональное обучение, семинары, тренинги, конференции, корпоративная библиотека
• ДМС, страхование жизни
• свободный дресс-код
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.