Витрины данных для аналитики пользовательской активности
Процессы загрузки и трансформации данных из разных источников
Системы мониторинга и анализа смотрения контента
Витрины для операционной и управленческой отчетности
Разработка, оптимизация и поддержка ETL-процессов для формирования аналитических витрин данных, включая создание и поддержку DAG в Airflow пр..
Обеспечение качества данных (Data Quality) через систему проверок и тестирования.
Проектирование и оптимизация структур хранения данных в Clickhouse.
Работа с различными источниками данных: API, Kafka
Интеграция с внешними системами для обмена данными с использованием Kafka, REST API
Разработка и внедрение архитектурных решений для аналитических систем
Создание и поддержка механизмов мониторинга исполнения ETL-процессов
Уверенное владение Python (включая библиотеки для анализа данных)
Глубокое знание SQL (сложные запросы, оптимизация производительности)
Знание и применение принципов SOLID в Python-разработке
Опыт работы с pydantic, типизацией и dataclasses в Python
Умение писать автотесты (pytest) и асинхронный код
Опыт разработки ETL-процессов для обработки больших объемов данных с использованием
Понимание CDC и практический опыт работы с Debezium
Знание принципов обеспечения качества данных (Data Quality)
Практический опыт в проектах с BigData (понимание что такое ленивые вычисления, генераторы, как считывать огромные файлы).
Практическое применение Polars, Dask, Pandas (на худой конец, тоже пойдет)
Опыт работы с Apache Airflow или другими оркестратором задач по обработке данных.
Опыт работы с ClickHouse (понимание особенностей движков таблиц, партиционирования)
Опыт интеграции с Kafka или другими системами обмена сообщениями
Понимание принципов CI/CD с использованием Gitlab CI
Опыт работы с noSQL базами данных
Практика работы с Docker и контейнеризацией
Работу с современным стеком технологий в сфере обработки данных
Интересные задачи в быстрорастущем цифровом продукте
Возможность влиять на развитие архитектуры данных компании
Профессиональный рост и развитие в команде опытных специалистов
Условия: