Data Engineer
Data Engineer
Москва, Садовническая улица, 82с2
Метро: ПавелецкаяОписание вакансии
В Центре технологий VK мы строим платформы, позволяющие всей группе компаний совместно работать с данными. В числе основных направлений, которым помогает наша платформа, находятся аналитика, машинное обучение и продукт.
Наша задача — разработать единую A/B-платформу, одну из ключевых компонент принятия решений, подкреплённых данными.
Наша задача — разработать единую A/B-платформу, одну из ключевых компонент принятия решений, подкреплённых данными.
Мы ищем дата-инженера, который будет заниматься разработкой и автоматизацией расчёта метрик на A/B-платформе. Предстоит разрабатывать расширяемые ETL-процессы для данных разных бизнес-юнитов с помощью Python в YTsaurus (YT, YQL), интегрировать в эти процессы математические алгоритмы, повышающие качество и чувствительность A/B-теста.
Задачи
- Участие в проектировании архитектуры расчёта метрик А/B-экспериментов
- Миграция метрик всех бизнес-юнитов в единую платформу, интеграция с другими частями единого A/B
- Обеспечение стабильного регулярного расчёта метрик
- Настройка и оптимизация ETL-процессов подготовки входных данных
Требования
- Знание алгоритмов и структур данных
- Опыт работы с большими данными
- Знание Python, SQL, опыт работы с ClickHouse, Kafka
Будет плюсом
- Опыт с YTsaurus-платформой, A/B-экспериментами
- Знание Spark, Airflow
- Знакомство с техниками повышения чувствительности A/B-экспериментов (CUPED, CUPAC)
Адрес
Похожие вакансии
Lead Data Engineer / Инженер по данным
Ростелеком Информационные Технологии
Удаленная работа
Москва
от 250000 RUR
Удаленная работа
Москва
от 250000 RUR
