Строить и развивать КХД (архитектура, разработка, моделирование, документирование);
Строить и развивать ETL-процессы (собирать данные из разных источников: api, sql, файлы);
Строить витрины данных (доводить данные то итогового результата);
Обеспечивать взаимообмен данными между ИС, как с использованием КХД, так и без его участия.
Требования:
Высшее техническое образование;
Опыт работы с PostgreSQL (PL/pgSQL), понимание физического уровня работы СУБД;
Опыт проведения тестирования/отладки кода процедур;
Опыт работы с инструментами: Apache NiFi (или аналоги), Apache Airflow, dbt;
Понимание подходов построения DWH (у нас методология Data Vault 2.0). От сбора данных до построения витрин;
Понимание принципов построения ETL процессов; Желание заниматься оптимизацией работы системы; Опыт работы с системами контроля версий (Git);
Документирование процессов разработки и доработок;
Умение работать в команде, инициативность, наличие коммуникативных навыков;
Желание погрузиться в предметную область (техническое и экономическое устройство ЦОДов; Виртуализация; Системы хранения данных);
Иметь представление, почему желательно избегать апдейтов; зачем применять секционирование; что такое VACUUM и зачем его использовать; какие есть нюансы работы с временными таблицами; что такое и нюансы работы с TOAST таблицами; для чего нужны индексы и какого типа индексы можно применить в том или ином случае.