Старший инженер данных отдела разработки аналитических систем

1. Разработка и поддержка data pipeline

• Создание и оптимизация ETL/ELT-процессов для интеграции данных из разнородных источников (внешние данные о рисках, файловые хранилища и др.) в Arenadata DB и ClickHouse .

• Построение масштабируемых потоков данных для обработки больших объемов информации, включая batch и stream processing.

• Обеспечение надежности, производительности и отказоустойчивости pipeline (например, через Apache Airflow, Kafka Streams или собственные механизмы Arenadata).

2. Управление данными и их качеством

• Разработка метрик и автоматизированных проверок качества данных (например, выявление дубликатов, аномалий, несогласованных форматов).

• Внедрение процедур очистки, нормализации и преобразования данных на этапах ETL.

• Участие в создании стандартов хранения данных (Data Governance), включая классификацию, метаданные, политики доступа и сроки хранения.

3. Архитектурное проектирование

• Проектирование и поддержка архитектуры хранилищ данных (Data Warehouse / Data Lake) на базе Arenadata DB и Arenadata QM (ClickHouse) .

• Оптимизация структур данных в ClickHouse (выбор движков таблиц, партиционирование, TTL, репликация).

• Выбор и реализация процедур инкрементальной загрузки данных из источников.

• Построение звездных/снежинковых схем для аналитических отчетов и дашбордов.

• Интеграция Arenadata DB с ClickHouse для обеспечения гибкости анализа (например, через внешние таблицы или промежуточные слои).

4. Поддержка аналитических процессов

• Создание витрин данных (Data Marts) для аналитиков, актуариев и менеджеров.

• Оптимизация SQL-запросов в ClickHouse для работы с высоконагруженными сценариями (например, расчет резервов убытков, моделирование рисков).

• Автоматизация регулярной отчетности в части подготовки данных (ежедневные/ежемесячные дашборды для руководства).

5. Соблюдение регуляторных требований

• Подготовка данных для регуляторной отчетности (например, Solvency II, локальные нормы) с использованием Arenadata DB и ClickHouse.

• Обеспечение конфиденциальности и безопасности данных (например, шифрование, аудит доступа к персональным данным).

• Документирование процессов хранения и обработки данных в соответствии с требованиями регуляторов.

6. Командная работа и развитие

• Наставничество для junior-инженеров данных (code review, обучение, передача экспертизы).

• Участие в выборе технологических решений и инструментов для развития аналитической платформы.

• Взаимодействие с ИТ-командами и бизнес-подразделениями для выявления потребностей и приоритетов.

• Высшее образование (плюсом будет направление: информационные технологии).
• Умение читать техническую литературу/документацию на английском языке.
• Опыт работы: 4+ лет в роли инженера данных, 2+ года с Arenadata DB (или иным хранилищем на базе Greenplum) и ClickHouse.

Технические навыки:

• Углубленное знание SQL, Python/Scala для обработки данных.
• Опыт работы с ETL-инструментами (Apache Airflow, Kafka).
• Навыки настройки и оптимизации Arenadata DB (Greenplum).
• Знание архитектур хранилищ данных и best practices моделирования данных.
• Понимание предметной области:
• Знание особенностей перестраховочного бизнеса (виды договоров, оценка рисков, убытки, премии).
• Опыт работы с финансовыми и актуарными метриками.
• Предпочтителен опыт работы в финансовых организациях и IT компаниях.

• Готовность брать на себя ответственность за результат, проактивность и умение задавать правильные вопросы, здоровый перфекционизм и скептицизм: любовь к структурированию, систематизации.

• Системное логическое мышление, умение описывать алгоритмы действий в процессах, лидерские качества, умение распределять задачи в команде, отличные коммуникативные навыки для взаимодействия с бизнесом и ИТ, аналитическое мышление и внимание к деталям.

• Прием на работу по трудовому договору.
• Ежеквартальная премия и премия по итогам года.
• ДМС на работника и членов семьи, страхование от критических заболеваний и несчастных случаев.
• Корпоративная мобильная связь.
• График 5/2 (гибрид).
• Офис в центре Москвы (м. Маяковская).