Технический лидер по данным

Мы набираем IT специалистов в большую команду для работы на проектах для крупного и динамичного российского банка.

Мы ищем технического лидера, который будет отвечать за организацию процесса разработки нового хранилища Банка с использованием современных технологий. Глубокий инженерный опыт работы с инструментами разработки и знания практик разработки. Важен опыт использования технологий или их вариантов: Airflow, Spark, Impala, Minio, S3, Greenplum, Apache Flink. Успешный кандидат будет как руководить и лидировать профессию разработчиков, так и принимать непосредственное участие в разработке и проектировании решения.

Стек:
• Spark, SparkStreaming, Scala, как язык для перекладки и обработки данных (ETL).

Хранение данных:
• ClickHouse - зона витрин и для отчетов BI;
• GreenPlum - публичная зона для обмена данными между доменами;
•I ceBerg, HDFS, S3, - детальные данные Домена;
• На развитие в плане использование Tarantool, Cassandra;
• Оркестраторы: из пула Argo, Dagster, AirFlow;
• BI: FineBI, PowerBI, SuperSet;
• Среда доступа к данным через SQL: Trino.

Обязанности:

• Построение CI и CD в розничном домене данных
• Организация автоматизированного контроля качества
• Менторинг и развитие разработчиков стрима
• Проектирование наиболее важных и критичных частей выгрузок и витрин, оптимизация производительности
• Самостоятельная разработка наиболее важных и критичных частей функционала

• Опыт разработки всех видов задач по загрузке данных более 3-х лет
• Экспертное знание airflow, python, sql.
• Опыт построения и настройки CI и CD процесса
• Опыт проектирования и эксплутации крупных хранилищ
• Знает разницу между колоночными, объектно-ориентированными, реляционными СУБД и знает шаблоны применения каждого из типов. Имеет опыт оптимизации SQL-запросов.
• Знает методы roll-back'ов для баз данных в распределенных системах, использующих контейнеризацию.
• Базовое понимание устройства промышленной ИТ-инфраструктуры (железо, виртуализация, контейнеризация, сеть, балансировщики и прочее)
• Знает подходы к оптимизации распределенных систем
• Знает подходы к эффективному и комплексному обеспечению мониторинга информационной системы
• Опыт организации разработки в команде (от сбора требований до релиза в продуктивную среду), в зависимости от бизнес-требований может определить состав команды.
• Экспертное знание Git.
• Хорошее знание Kubernetes его составные элементы, имеет хорошие знания о стратегиях деплоя,
• Знает принципы тестирования, может построить стратегию тестирования на основе ресурсного плана, может выявить и описать границы требований качества приложения.
• Имеет опыт взаимодействия с подразделениями поддержки и эксплуатации, имеет опыт разработки инструментов для указанных доменов.
• Имеет опыт работы или знает на начальном уровне о шаблонах комплексного описания архитектуры предприятия.
• Знает паттерны взаимодействия на уровне ИТ-ландшафта, информационной системы.
• Знает и руководствуется на практики архитектурными подходами при проектировании хранилища и механизмов загрузки
• Знает принципы разработки систем, обрабатывающих распределенные по времени или компонентам транзакции.
• Знает шаблоны проектирования архитектуры приложений на базе физической событийной модели.