Руководитель группы Data-инженеров (Tech Lead)

Лига Цифровой Экономики в поиске Руководителя группы Data-инженеров на проект крупного Банка. Команда разрабатывает и внедряет информационную систему функционально-стоимостного анализа для целей распределения административно-хозяйственных расходов по объектам затрат в рамках импортозамещения.

Твои задачи:

• Формировать техническое видение системы и разрабатывать дорожную карту (roadmap) развития системы
• Руководить командой инженеров (2-5 человек): распределять задачи, проводить код-ревью, участвовать в наставничестве и повышении квалификации команды
• Развивать архитектуру платформы: выявлять узкие места, оптимизировать и масштабировать систему
• Проводить рефакторинг и оптимизацию существующих процессов для повышения производительности и надежности системы
• Реализовывать высокопроизводительные расчетные алгоритмы на базе Apache Spark (Java), анализировать планы запросов и оптимизировать алгоритмы для снижения времени выполнения и потребления ресурсов
• Проектировать новые модели данных и процедурную логику, внедрять их реализацию в Greenplum, PostgreSQL, Clickhouse для поддержки новых видов аллокаций, аналитик, отчетов
• Реализовывать новые модели данных на базе Apache HiveMetastore над HDFS
• Выстраивать и сопровождать производственные DAG в Apache Airflow с использованием специально созданных операторов для системы как на базе стандартных, так и в рамках расширения функционала, надежности, наблюдаемости специальных операторов
• Взаимодействовать с аналитиками для анализа требований, проектирования новых функциональных возможностей и консультирования по архитектурным и техническим вопросам
• Принимать технические и архитектурные решения в рамках задач, рефакторинга существующих процессов и оптимизации системы с последующей реализацией и контролем их имплементации

Мы ждем от тебя:

• Опыт работы на позиции Tech Lead, Team Lead или Ведущего инженера с функциями технического лидера и управление командой
• Опыт развития и масштабирования сложных Data-систем, а не только поддержки существующих систем
• Практический опыт с Apache Spark (Java): разработка, оптимизация алгоритмов для обработки больших данных, подбор и оптимизация параметров, анализ логов, умение выявлять и отделять разные типы ошибок по источнику их возникновения (данные, алгоритм, параметры запуска и пр.)
• Опыт с Greenplum (или аналогичные MPP-системы): архитектура, оптимизация распределенных запросов, партиционирование, шардирование, создание объектов разного типа, понимание различий таблиц разного типа
• Умение создавать операторы в Apache Airflow, проектировать графы (dag) сложной топологии с учетом разной логики запуска задач, связей между ними
• PostrgeSQL: работа с индексами, оптимизация запросов, секционирование таблиц, глубокие знания SQL и процедурного SQL
• HDFS: понимать принцип работы распределённой файловой системы, процессов чтения, записи удаления данных, принцип настройки прав доступа к данным
• Apache Hive Metastore: понимание назначения, принципа работы, знание особенностей HiveQL для создания, анализа объектов
• ClickHouse: архитектура, принцип построения кластеров, работы с ним, знание о разных типах движков и их различий и иных объектах помимо табличных движков, понимание особенностей настроек сессий подключения, фоновых процессов и умение управлять ими, понимать принципы шардирования и репликации данных
• Умение проектировать масштабируемые и надежные ETL/ELT-процессы
• Понимание принципов работы и построение Gitlab CI/CD или аналогов

Что мы предлагаем:

• Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой
• Безграничная прокачка скиллов
• Работа в современном и комфортном офисе ст. м. Савеловская, гибридный график
• Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
• Новая техника для комфортной работы
• Сессии профессионального развития 2 раза в год, результатом которых является план индивидуального развития каждого сотрудника и получение обратной связи
• Корпоративная культура со своими ценностями и традициями, в которой каждый чувствует себя частью команды