Мы ищем опытного инженера данных, который будет играть ключевую роль в построении и поддержке архитектуры хранения и обработки данных.
Если вы умеете работать с большими объемами информации, сложными системами и стремитесь к постоянному улучшению процессов - мы будем рады видеть вас в команде :)
Основные обязанности:
- Проектирование и реализация архитектуры хранилища данных (DWH), включая выбор технологий, схем моделирования и стратегий наполнения
- Разработка и поддержка масштабируемых конвейеров обработки данных
- Построение и оптимизация ETL/ELT-процессов
- Использование DBT для построения моделей данных и трансформаций
- Взаимодействие с аналитиками для понимания бизнес-требований и обеспечения качества данных
- Сотрудничество с архитектурным центром экспертизы для согласования решений и соблюдения стандартов
- Управление метаданными, схемами и моделями данных
- Участие в agile-процессах и совместная работа с другими командами
Требования:
- Глубокое знание и практический опыт работы с ClickHouse
- Уверенное владение Python для разработки data pipeline'ов
- Опыт работы с Apache Airflow для оркестрации процессов
- Знание принципов построения DWH и OLAP-систем
- Практический опыт работы с Apache Spark и Kafka
Будет плюсом:
- Навыки оптимизации производительности обработки данных
- Опыт внедрения best practices в области качества и доступности данных
- Участие в проектах по построению хранилищ данных с нуля или миграции существующих решений
- Понимание принципов data governance, включая управление доступом, каталогизацию и lineage
- Опыт работы с BI-инструментами (например, Tableau, Power BI, Superset) и поддержка аналитиков в построении витрин данных
- Знание принципов Data Mesh или Data Lakehouse архитектур
- Умение документировать архитектурные решения и технические процессы
- Опыт проведения ревью моделей данных и ETL-логики
- Владение SQL на продвинутом уровне, включая написание сложных запросов и оптимизацию
Мы предлагаем: