Data Engineer (Портал)

Описание вакансии

Объединённая компания Wildberries и Russ — это международная технологическая компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.

Направление работы:

Портал продавцов — это юнит со всеми продуктами WB для продавцов. Здесь личный кабинет, загрузка и хранение контента, поиск и каталог, биллинг, оформление товара и доставка, аналитика и многое другое. Это 1/4 всего бизнеса WB. В сервисе более 1 млн. поставщиков, ежедневный оборот - 5 млрд. рублей.

Стань частью нашей команды!

Вам предстоит:

Участвовать в разработке data-transfer инструмента, который позволит автоматизировать процесс перегрузки данных с различных источников;
формировать озера данных на HDFS;
дорабатывать существующие и писать новые Airflow операторы;
оптимизировать интеграции со стриминговыми источниками данных (Kafka);
формировать витрины для аналитики и поставлять их в ClickHouse;
вести процесс покрытия данных контролем качества (DQ).

Формат работы - офисный, гибридный или удаленный

Вы нам подходите, если:

Имеете уверенный опыт программирования на Python (не менее 2-х лет);
имеете опыт с hadoop (spark/yarn/hdfs/hive), с apache Airflow / Dagster и со Spark (Pyspark);
имеете опыт в оптимизации SQL запросов (индексы, партицирование, шардирование и тд);
имеете опыт работы с MPP СУБД (ClickHouse/GreenPlum/Vertica).

Условия для сотрудников:

Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.