Data Engineer (Рекомендации)

Привет! Мы - Wildberries, крупнейший маркетплейс Европы, 30 млн пользователей ежедневно и технологические задачи, у которых нет аналогов. Наша компания стабильно развивается и работает в усиленном режиме: использует современный стек и новейшие технологии, разрабатывает множество новых hi-tech продуктов.

Сейчас мы в поиске сильного Data Engineer в команду Рекомендаций.

Команда занимается построением хранилища данных, необходимого для обучения алгоритмов машинного обучения для решения задач рекомендательных систем, а так же поискового ранжирования и других исследовательских задач.

Что нужно делать:

• Пайплайны на Spark;
• Участвовать в построении Lakehouse на Hadoop;
• Создавать и развивать процессы управления данными и их качеством;
• Извлекать, преобразовывать, загружать и обрабатывать данные, ETL/ELT (Python/Airflow);
• Оптимизировать процессы поставки данных под бизнес требования;
• Работать с большим разнообразием первоисточников данных (Kafka, Nats, другие БД, api).

Какой опыт и знания нужны:

• Уверенный опыт программирования на Python (не менее 2-х лет);
• Уверенные знания SQL и опыт работы с базами данных;
• Опыт работы с Apache Airflow;
• Опыт работы с Hadoop (spark/yarn/hdfs/hive)
• Умение оптимизировать SQL запросы;
• Опыт работы с высоко нагруженными системами и большим объёмом данных;
• Понимание концепций построения хранилищ данных (DWH).

Будет плюсом:

• Знания и опыт работы с DBT;
• Опыт с Trino;
• Опыт работы с Greenplum/Postgres.

Мы предлагаем:

• Полная удаленка, гибрид или офис с диванчиками, гамаками, качелями, кафе и зелеными зонами;

• Бесплатное питание в офисах компании;
• Современный стек, все команды горят работой, нет бюрократии и тайм-трекеров;
• Официальное трудоустройство в аккредитованную IT-компанию с 1 рабочего дня;
• Конкурентная заработная плата без задержек.