Data Engineer

VK Видео — это один из самых крупных сервисов потокового видео в России. Ежедневно им пользуются десятки миллионов людей и перед нами стоит амбициозная задача — стать видеосервисом №1 в РФ.

Мы ищем сильных DWH-инженеров, которые помогут построить удобное и качественное хранилище данных на большом кластере размером N петабайт для анализа поведения пользователей и обучения моделей.

Задачи

• Разрабатывать и поддерживать процессы по обработке и поставке данных для команд аналитики и ML

• Выявлять и собирать требования к существующим и новым данным с последующим формированием конкретного заказа в команду разработки

• Сопровождать выполнение заказов по поставке данных на всех этапах, уточняя требования и проверяя результат

Требования

• Имеете опыт работы DWH-инженером

• Имеете опыт работы с экосистемой Hadoop (или другой системой обработки больших данных), в частности с Airflow, Spark и HDFS

• Умеете составлять сложные SQL-запросы, программируете на Python и разбираетесь в парадигме MapReduce

• Умеете работать с Git и разрабатывать код в команде из нескольких человек

• Знаете основы работы с операционными системами на базе Unix/Linux

• Можете быстро разобраться в плохо формализованной задаче, сформулировать ее и выделить главное

• Способны вести несколько проектов одновременно и самостоятельно расставлять приоритеты

Будет плюсом

• Опыт работы в смежных предметных областях

• Опыт работы с ClickHouse, Superset, Jupyter

• Базовые навыки в машинном обучении