Разработка сущностей и создание потоков для наполнения детальных слоев данных хранилища, а также проработка их взаимодействия.
Разработка с участием фреймворка сущностей и создание потоков для наполнения детальных слоев данных одного из крупнейших хранилищ в России. Фреймворк - набор стандартных функций загрузки данных по слоям хранилища.
Загрузка данных осуществляется по источникам. Профилированием источников занимаются системные аналитики.
Требования:
Обязателен опыт работы с СУБД Teradata;
Практический опыт реализации ETL / ELT процессов;
Глубокое знание SQL;
Знание подходов к разработке, документированию, тестированию ПО;
Навыки деловой коммуникации
Желателен опыт работы с Greenplum, Apache Hadoop, Apache Spark, ClickHouse;
Желателен опыт работы в команде с применением Jira, Confluence, Git.