Архитектор DWH

Чем предстоит заниматься

• Построение архитектуры DWH / Data Lake/ LakeHouse для высоконагруженных сервисов и больших хранилищ (500 тб+): ClickHouse (MergeTree), S3 Data Lake, Kafka, Airflow (ETL/ELT), etc
• Выбор форматов хранения: Parquet, ORC, Avro, JSON, таблицы MergeTree, Replicated, ReplacingMergeTree etc
• Участие в проектировании схем витрин под требования BI/DS/etc
• Проектирование слоёв: RAW → STG → ODS → DM → Marts
• Формирование архитектур ETL/ELT процессов с использованием Airflow / Spark
• Организация потоковой передачи данных из прод-сервисов (Kafka)
• Настройка data quality checks и алертинга
• Формирование CI/CD пайплайнов для данных (git + tests + deploy)
• Архитектурный надзор команд, валидация предлагаемых изменений, подготовка рекомендаций со стороны архитектуры
• Документирование решений и применяемых подходов
• Консультирование команд по стандартам, регламентам и архитектурным особенностям
• Участие в формировании, защите и реализации Data-стратегии функциональной области

Что мы ждем от вас

• Высшее техническое образование
• Опыт работы Lead Data Engineer /Архитектор DWH / DataOps от 3х лет
• Знание ClickHouse на уровне архитектора (MergeTree / Replacing / Collapsing)
• Понимание архитектуры DataLake / LakeHouse
• Опыт построения пайплайнов: batch, micro-batch, stream
• Опыт работы с Airflow или аналогами
• Знание SQL уровня проектирования витрин и оптимизации
• Опыт настройки каталога данных: DataHub, OpenMetadata
• Опыт управления метаданными, версионированием схем

Будет плюсом:

• Опыт с облачной инфраструктурой
• Хорошие знания *nix
• Знание технологий: Docker, Kubernetes

Что мы предлагаем взамен

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
• Гибкий график работы: вы сможете планировать время так, как удобно вам и вашей команде
• Гибридный формат работы, а также уютный ИТ-хаб в Москве и сезонный коворкинг в Сочи
• Сложные и интересные задачи, современный стек технологий
• Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
• Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
• Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
• Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
• Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины