Мы в поиске Аналитика КХД на внутренний проект по созданию КХД на Greenplum.
Нужно построить КХД, для хранения данных используемых в расчете рисковых коэффициентов, хранения сделок и отчетных форм.
В команде 2 аналитика.
Проект новый.
Обязанности:
- Участие в построении хранилища данных (проектирование, определение сущностей, формирование витрин данных).
- Разработка моделей витрин данных.
- Разработка и оптимизация процессов выгрузки данных из различных источников.
- Разработка процессов обработки данных.
- Согласование решений с архитектором и презентация заказчику.
- Разработка методов ETL и запуск в работу.
- Написание и выполнение тестовых сценариев, поддержка сверок с эталонными данными.
- Создание проектной документации (требования, S2T, модели данных, описание логики трансформации.
Требования: - Опыт работы на проектах развития DWH/ DataLake - от 2-х лет (разработчиком будет преимуществом).
- Опыт работы с реляционными базами данных (PostgreSQL, GreenPlum).
- Глубокие знания в области SQL, включая понимание планов запросов, функций, процедур, индексов, партиций, методов сжатия данных, оптимизации запросов и других аспектов.
- Понимание принципов работы с Kafka/системами обмена сообщениями.
- Опыт работы с большими нагруженными системами.
- Готовность к рефакторингу моделей данных.
- Понимание концепций и принципов проектирования хранилищ данных (DWH): слои, витрины, агрегаты, полная-инкрементальная загрузка, Схема звезды, Схема снежинки, Data Vault, Anchor Modeling).
- Data Governance и Data Quality. Понимание принципов управления данными, включая обеспечение качества данных, безопасности и соответствие нормативным требованиям.
- Опыт работы по построению хранилищ, витрин, моделей данных.
- Опыт владения и понимание внутренних механизмов ETL-инструментов Apache NiFi, Apache SeaTunnel и др.
- Понимание систем оркестрации и планировщиков (Airflow и др.).
- Опыт работы с GIT/Jira/Confluence.
У нас: