Data Engineer в команду Данных ПВЗ

WILDBERRIES — это 30 миллионов пользователей ежедневно и технологичные решения, у которых нет аналогов. Наша компания стабильно развивается и идет к самым амбициозным целям, мы используем современный стек и новейшие технологии. 14 стран присутствия и более 80 тыс. пунктов выдачи заказов. Команда Департамента ПВЗ активно работает над развитием своей партнерской сети и регулярно открывает по 2500 ПВЗ в месяц, при этом уделяя большое внимание поддержке и развитию сообщества предпринимателей.

Стек технологий: Python/Go, SQL (ClickHouse, PostgreSQL), Kubernetes (K8s), Kafka.

Основные задачи:

• Разработка новых и оптимизация существующих ETL-процессов;
• Разработка и сопровождение сервисов, компонентов и процессов для потоковой и пакетной выгрузки данных из корпоративных систем в контур платформы данных;
• Взаимодействие с командами DevOps и DBA по настройке окружений, деплою и работе с инфраструктурой;
• Реализация процессов CI/CD и мониторинга разработанных процессов;

Требования:

• Продвинутый уровень владения Python и SQL;
• Умение разрабатывать production-ready сервисы для деплоя в Kubernetes;
• Навыки работы с Kafka и понимание её внутреннего устройства;
• Опыт применения концепций непрерывной интеграции и доставки (CI/CD);
• Опыт построения пайплайнов для потоковой и пакетной выгрузки/обработки данных;
• Опыт оптимизации запросов и проектирования схем данных.

Будет плюсом:

• Знание Go;
• Опыт работы с Apache Airflow;
• Понимание основ DataOps и опыт внедрения CI/CD для областей данных;
• Опыт работы с PostgreSQL, ClickHouse;
• Опыт проектирования высоконагруженных приложений;
• Знание архитектуры и принципов построения хранилищ данных.

Мы предлагаем:

• Гибкое начало рабочего дня;
• Современный офис на м. Тульская (БЦ DM Tower, Новонаданиловская наб., 12);
• Официальное оформление по ТК РФ в аккредитованную IT-компанию;
• ДМС после испытательного срока;
• Различные бонусы компании: корпоративная техника, партнерские программы по обучению и фитнесу, система скидок и привилегий BestBenefits, корпоративное питание для сотрудников в офисе и другое;
• Возможности для профессионального развития и роста в крупнейшем маркетплейсе России.