Senior Дата-инженер (потоковые данные)

Наша команда развивает Единое хранилище данных по всем процессам Центрального банка Российской Федерации. В нем консолидируется почти вся информация о финансовом рынке, необходимая для контроля, регулирования и прогнозирования развития экономики страны.

Мы создаем на базе Единого хранилища данных Приложения для анализа и визуализации информации, которая необходима для принятия решений о денежно-кредитной политике Российской Федерации.

Обязанности:

• Анализ и Оценка: Анализ требований, осуществимости и целесообразности решений, оценка рисков;
• Проектирование Архитектуры: Разработка архитектуры решений, обеспечивающей соответствие требованиям и согласование с корпоративной архитектурой;
• Выбор Технологий и Рефакторинг: Поиск эффективных технологий, организация оптимизации кода (рефакторинг);
• Документирование и Поддержка: Разработка и поддержка актуальной документации проектных решений;
• Метдология и Контроль: Разработка и контроль соблюдения методологии разработки, контроль соответствия требованиям CI/CD;
• Взаимодействие: Участие во взаимодействии с заказчиками и пользователями, поддержкой;
• Интеграция и Проверка: Проверка соответствия проектных решений требованиям интеграции;
• Контроль Качества: Контроль качества и полноты реализации, устранение технического долга;
• Совершенствование: Поиск и внедрение лучших практик, совершенствование алгоритмов и передача знаний;

• высшее техническое образование;
• релевантный опыт работы (DWH);
• экспертные знания в области проектирования высоконагруженных потоков данных, обеспечивающих поставку данных в режиме реального времени (в сжатые временные отрезки);
• опыт работы с инструментами потоковой загрузки данных (Apache Kafka, Apache Spark Streaming);
• опыт работы с платформами для хранения и распределенных вычислений данных в режиме реального времени (такие как Hazelcast, Redis или аналоги);
• опыт работы с PostgreSQL, ClickHouse , HDFS;
• базовые знания по архитектуре и инструментам построения ETL для ХД (Informatica, MS SSIS, иное);
• навык работы с любым ER-средством;
• знание XML и XSD-спецификаций;
• знание процесса непрерывного развертывания и опыт установки изменений в рамках конвейера CI/CD;
• навык работы со средствами версионного контроля;
• опыт работы в Agile командах;
• знания в финансовой предметной области приветствуются

• Apache NiFi

• гибридный режим работы;
• релокационный пакет.