Архитектор хранилища данных

Алматы, проспект Аль-Фараби, 40

Метро: Абая

Показать контакты

Описание вакансии

Обязанности:

Разработка архитектуры распределенного хранилища
Проектирование инфраструктуры для обработки больших объёмов структурированных, полуструктурированных и неструктурированных данных.
Реализация решений для потоковой обработки данных
Проработка интеграции с внешними системами с учетом специфики текущего или планируемого стека технологии
Развитие стека технологии для удовлетворения требовании бизнеса
Оптимизация действующих процессов в целях минимизации затрат
Настройка процессов ETL/ELT для извлечения, преобразования и загрузки данных.
Code review и менторство команды разработки

Требования:

Опыт разработки архитектуры DWH и DataLake, Data LakeHouse.
Знание принципов моделирования данных (Kimball, Inmon, Data Vault).
Оптимизация архитектуры для обработки больших объемов данных (терабайты/петабайты).
Опыт работы с S3 как объектным хранилищем для больших данных.
Знание принципов организации данных (партиционирование, форматы хранения).
Понимание табличных форматов для больших данных и их применения
Знание SQL и оптимизации запросов для высокопроизводительных аналитических вычислений.
Глубокое понимание экосистемы Hadoop (HDFS, YARN, MapReduce) . Опыт настройки и оптимизации кластеров Hadoop.
Большой опыт разработки процессов с использованием Spark и PySpark.
Оптимизация производительности Spark
Настройка NiFi для интеграции с S3, Hadoop, Spark и другими системами.
Уверенное владение Java/Python для работы с Spark и кастомных интеграций.
Знание инструментов мониторинга (Prometheus, Grafana) и профилирования производительности кластеров.
Проверка кода на читаемость, производительность, масштабируемость и соответствие стандартам.
Навыки обучения и наставничества для junior/middle специалистов. Способность объяснять сложные архитектурные концепции простым языком.
Умение взаимодействовать с бизнес-аналитиками, дата-инженерами и стейкхолдерами для уточнения требований.
Способность вести команду, принимать решения и защищать архитектурные подходы.
Минимум 5–7 лет опыта в области больших данных, из них 2–3 года в роли архитектора.
Английский язык: Уровень не ниже Upper-Intermediate для работы с документацией и международными командами.

Условия:

Заработная плата и бонусы: конкурентоспособная оплата труда благодаря системе грейдирования, премии ко Дню Независимости и годовой бонус.
Социальный пакет: ДМС и страхование жизни, мобильная связь и скидки от партнеров.
Отпуск и отдых: 26 дней отпуска с возможностью взять дополнительные дни при наступлении важных событий.
Бонусы за рекомендации.
Рабочие условия: льготные условия на паркинг, свободный стиль одежды (smart casual).
Обучение и развитие: тренинги, вебинары и доступ к корпоративной библиотеке, четкая система карьерного роста.
Корпоративная культура: открытая и дружеская рабочая атмосфера, спортивные турниры и активная корпоративная жизнь.
Инициативы и проекты: возможность участия в социальных проектах, реализация идей в новых проектах группы «Halyk» с использованием современных digital-инструментов.
Команда: творческая и поддерживающая команда для реализации ваших идей.
Присоединяйтесь к нам и становитесь частью команды «Halyk»!