Senior Data инженер [Trust & Safety]

Wildberries и Russ — лидер рынков e-commerce и наружной рекламы в России и странах СНГ.
Ежедневно более 4 тысяч наших IT-специалистов создают цифровую экосистему, состоящую из сотен тысяч продуктов. На сегодня мы создали крупнейшую онлайн-платформу для покупки и продажи товаров в России и странах СНГ.

Вместе с масштабным развитием IT-направления мы формируем культуру Trust and Safety, гарантируя непрерывную безопасность и доверие между компанией, её сотрудниками, пользователями и клиентами.

Мы - команда Complience в направлении Trust & Safety. Наша главная задача - контроль, хранение и обработка очень большого объема данных в реальном времени В нашу задачу входит разработка инструментов обеспечивающих соблюдение требований международного и внутреннего законодательства в отношении защиты и обработки персональных данных как на территории РФ, так и в странах присутствия Wildberries.

В связи с активным ростом команды, мы в поиске Senior Data Engineer.

Наши задачи:

• Писать обработку данных realtime Flink java и batch Python airflow
• Настраивать загрузку данных из clickhouse и хранение в cassandra
• Участвовать в разработке архитектуры хранения big-data Lakehouse
• Выстраивать процессы контроля качества данных DQ
• Дорабатывать CI/CD процессы

Какой опыт и знания нужны:

• Опыт от 3 лет;
• Высокий уровень знаний SQL;
• Умение выстроить архитектуру сложных решений обработки данных;
• Хорошее знание ООП, опыт разработки собственного проекта, написание тестов
• Понимание принципов работы с Bigdata, умение внедрять новые инструменты;
• Уметь быстро погружаться в новые области (прочитать документацию, суметь установить и настроить новую систему).
• Знания по настройке интеграции с мастер системами по данным

Стек:

• Clickhouse/Cassandra/Redis;
• AirFlow, Flink;
• Ceph, S3;
• Kafka/RedPanda.
• Java 17 Pyhon 3.10
• docker / k8s

Что мы предлагаем:

• Полная удаленка или свободное посещение офисов в Москве и Санкт-Петербурге
• IT-ипотека и оформление в аккредитованную IT-компанию
• Бесплатное питание в офисах, ДМС со стоматологией (после испытательного срока)
• Корпоративное обучение и IT-мероприятия

Наш процесс найма:

• 30-минутное HR интервью, чтобы рассказать о себе и узнать больше о вакансии
• Техническое интервью длительностью 1.5 часа
• Финальное интервью с лидом длительностью 1.5 часа