Архитектор Big Data

Задачи:

• Формирование требований к компонентам дата-платформы
• Создание/проектирование архитектуры дата-платформы на уровне solution
• Пилотирование и защита решений
• Запуск решения в формате MVP в области платформ обработки данных
• Внедрение механизмов управления платформой данных
• Составление арх.стандартов
• Сбор и анализ требований
• Защита решений
• Постановка и контроль выполнения задач
• Выработка оценки сроков реализации
• Техническое лидерство/менторство команды

Hard skills обязательно:

• Глубокое понимание DWH/DataLake/LakeHouse
• Глубокое понимание ETL/ELT
• Знание airflow/python
• Глубокое понимание DataVault 2.0/2.1
• Знание SQL - разработка/оптимизация/ работа с большим объемом данных
• Глубокое понимание MPP СУБД (лучше всего ArenaData GP)
• Знание и опыт работы с экосистемой Hadoop
• Знание S3

Hard skills желательно:

• Знание и опыт работы с k8s и doker
• Опыт c использование Open Policy Agent
• Опыт/ понимание принципов LDAP/Oauth /Kerberos
• Понимание принципов аутентификации/авторизации
• Опыт в разработки streaming потоков данных
• Опыт разработки на Spark/Flink