Старший разработчик Python/Pyspark, Платформа АБ-тестов, Стенды метрик

Каждый день продуктовые команды в Ozon проводят десятки АБ-экспериментов. После завершения этих экспериментов необходимо быстро и точно оценить влияние на ключевые показатели: количество заказов, прибыль, конверсии и многие другие.

Мы создали платформу, которая помогает продакт-менеджерам и аналитикам легко проводить AБ-тесты и принимать обоснованные решения на основе данных. Десятки миллионов покупателей пользуются сайтом ежедневно, создавая огромный поток событий. Платформа отвечает за ежедневное вычисление более 500000 значений метрик и различных статистических тестов для них.

Платформа включает в себя:

• Платформу расчета метрик и статистических тестов.
• Инструменты предварительного анализа метрик.
• Систему аудита метрик (AA-тесты).
• Инструменты пост-анализа экспериментов.
• Платформу корректного запуска AB-тестов.
• Система раннего оповещения.
• KPI-монитор.

Мы ищем в команду Python разработчика с опытом работы в Big Data.

Наш стек: Airflow - для управления графами вычислений, обработка данных происходит в Apache Spark. Данные для расчётов берутся из HDFS, куда они агрегируются из разных источников: ClickHouse, Kafka, PostgreSQL, Vertica. Рассчитанные метрики сохраняются в БД и отдаются наружу с помощью сервисов на Go.

Вам предстоит:

• Разработка автоматизированной платформы расчета метрик и статистических тестов для всего Ozon.

• Создание и поддержка различных платформенных инструментов для улучшения всего процесса проведения АБ-тестов.

• Поиск путей оптимизации текущих решений для поддержания постоянного и стабильного масштабирования системы.

• Развитие существующей архитектуры по интеграции новых источников данных от внешних команд.

Мы ожидаем:

• Опыт разработки на Python от 2-х лет.
• Опыт работы с Spark/Pyspark/Hadoop, либо YT/YQL.
• Понимание принципов обработки больших данных.
• Знакомство с логическими моделями хранения данных, понимание зачем они нужны.

Будет плюсом:

• Базовые знания SQL.
• Понимание теории вероятностей и статистики, базовых алгоритмов.
• Желание разбираться в архитектуре приложений/систем, наши расчёты должны работать максимально точно, надёжно и быстро.