Инженер по данным

Сравни.ру – финансовый супермаркет, мы создаем удобные сервисы и рекомендации, для того чтобы помочь людям принимать правильные решения при выборе банковских и страховых продуктов — ОСАГО, страховок путешественника, страхования недвижимости, Каско, вкладов, кредитов, кредитных карт или подобрать лучший вариант ипотеки. Мы первыми в Рунете придумали и запустили сервисы оформления электронного ОСАГО и подбора кредита.

В 2025 году вошли в список ТОП-30 самых дорогих компаний Рунета по версии Forbes.

Сейчас у нас:

• 18 млн уникальных пользователей в месяц

• 8 000 предложений от банков и страховых компаний

• 140 000 отзывов о банках и страховых компаниях

• более 3000 оформленных страховок в день

В чем ценность вакансии:

• Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов

• Возможность самостоятельно реализовать сервисы “под ключ” от R&D до выпуска в прод

• Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.

• При необходимости, нас будут консультировать лучшие специалисты и архитекторы на рынке

Основной стек технологий на наших проектах:

• ELT на Python
• Оркестратор - Argo Workflows
• Kubernetes, TeamCity, OpenSearch, Grafana, Victoria Metrics, Amixr, Github Actions, Terraform, Argo CD
• Хранилище на базе Snowflake, объём - 11 ТБ (колоночное сжатие)
• Более 150 активных пользователей DWH, динамические окружения для разработки
• 50+ источников: MSSQL, MySQL, PostgreSQL, MongoDB, внешние API и т.д.
• Потоковая обработка через Kafka, source/sink-коннекторы
• В прототипе нового DWH: Greenplum, ClickHouse, Spark, Data Lake на Яндекс Облаке, dbt для сборки витрин данных

Что предстоит делать:

• R&D по ключевым частям платформы: качество данных, real-time, витрины, озёра и т.п.
• Разработка пайплайнов обработки (ELT)
• Интеграция с источниками, настройка Kafka-коннекторов
• Написание заданий на Spark для потоковой загрузки в DWH и Data Lake
• Разработка Python-фреймворка для управления всей платформой данных
• Построение DDS-слоя и фреймворка для моделирования данных
• Реализация архитектуры обработки по моделям lambda/kappa
• CI/CD пайплайны, автотесты, поддержка стабильной доставки
• Участие в развитии культуры работы с данными в компании

Требования:

• Опыт работы Data Engineer от 3 лет
• Уверенный Python
• Опыт с Greenplum, ClickHouse, Spark, Kafka
• Отличное знание SQL и умение оптимизировать запросы
• Понимание, как устроены DWH и Data Lake

Будет плюсом:

• Знание, как устроены высоконагруженные системы
• Опыт с Java/Scala, Kubernetes/Helm
• Понимание data governance-процессов: качество, lineage и т.д.
• Понимание контейнеризации и CI/CD

Что мы предлагаем:

• Конкурентную зарплату;

• Развитую бонусную систему;

• ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,

• Оплату посещения профильных конференций;

• Оплату профильных курсов;

• Холодильник с едой в офисе;

• Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;

• Компенсацию спортзала;

• Современную технику;

• Покупку профильной литературы;

• Социальная ответственность: материальная помощь, при рождении ребёнка;

• Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);

• Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);

• Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).