Разработка и совершенствование методологии проведения A/B-экспериментов, применяемой в разных продуктах и бизнес-моделях.
Ревью A/B-экспериментов, проводимых продуктовыми аналитиками, помощь в интерпретации результатов.
Проведение консультаций и воркшопов для аналитиков и продуктовых команд по вопросам создания, дизайна, проведения, анализа экспериментов.
Участие в развитии и приоритизации продукта "A/B-платформа": совместная работа с разработчиками, аналитиками и владельцем продукта.
Поиск и внедрение более точных, устойчивых и применимых методов анализа онлайн и офлайн экспериментов (разностные оценки, CUPED, bayesian-интерпретации, сегментные эффекты и т.п.).
Создание документации и материалов, описывающих лучшие практики и кейсы.
Кросс-функциональное взаимодействие с командами продуктовой аналитики, распределёнными по вертикалям и продуктам.
Обязательные навыки:
Уверенное знание математической статистики, экспериментов и причинно-следственного анализа.
Практический опыт проведения и анализа A/B-тестов в реальных продуктах.
Умение структурно объяснять и документировать методы, кейсы и интерпретации.
Опыт взаимодействия с аналитиками и продуктовыми командами.
Понимание технической стороны реализации A/B (экспозы, рандомизация, сплиты, логирование, написание пайплайнов данных).
Уверенное владение SQL (в Greenplum, ClickHouse).
Опыт анализа и автоматизации в Python.
Опыт работы с Airflow (или другими оркестраторами/средствами постановки задач на расписание).
Уверенное владение работой с базами данных. Мы работаем в Greenplum и ClickHouse.
Опыт работы в сложной и многокомпонентной аналитической архитектуре.
Желательные навыки:
Понимание ETL/ELT-процессов и участие в их оптимизации.
Опыт разработки аналитического инструмента или платформы.
Знание и/или применение бэйесовских подходов к анализу экспериментов.
Опыт работы с продуктами аналитической платформы (навык постановки требований, приоритизации, работы с разработкой).
Опыт выстраивания стандартов или документации в аналитических командах, связанных с А/В-экспериментами.
Публичные выступления или участие во внутренних/внешних обучающих активностях.
Понимание архитектуры логирования, сплит-менеджмента, системы хранения экспозов.
Опыт работы в распределённой команде, работающей удаленно.