Senior Data Engineer

Несколько лет назад YCLIENTS был амбициозным стартапом.
Теперь мы – лидер рынка онлайн-записи и автоматизации бизнеса, трендсеттер в своем сегменте. Уже шесть лет количество наших клиентов растет в геометрической прогрессии.

Мы – команда, которая меняет то, как предприниматели управляют бизнесом.
Присоединяйся к лидеру рынка онлайн-записи – и помоги нам стать не просто платформой, а интеллектуальной операционной системой для бизнеса.

Сейчас нам нужен Senior Data Engineer, который закладывает основу дата-платформы с полной свободой в реализации ingestion, CDC и слоёв, понимает, как сделать так, чтобы метрики считались одинаково, витрины обновлялись предсказуемо, а изменения вносились быстро и бесшовно.

Нам нужно чтобы ты:

• Подключил OLTP- и API-источники и настроил инкрементальные загрузки данных в Iceberg (S3);

• Провёл proof of concept для CDC (с использованием Debezium и Kafka → lakehouse) и выбрал оптимальный паттерн доставки данных в S3/Iceberg;

• Реализовал трансформации по слоям Bronze → Silver → Gold через dbt на Spark и выпустил первые ключевые витрины;

• определил стратегию serving: где использовать Trino для ad-hoc-запросов, а где — ClickHouse для BI, и решил, какие данные читать напрямую, а какие материализовать;

• Автоматизировал backfill’ы и перезапуски, а также настроил базовый мониторинг свежести данных и ошибок в Airflow;

• Взял ownership над ingestion, lakehouse и data pipelines (Airflow/Spark/dbt);

• Сделал так, чтобы платформа работала стабильно и максимально автоматизировано;

Требования:

• Сильный SQL и опыт витрин/инкрементов

• Python для ETL/интеграций

• Опыт со Spark (PySpark) и понимание оптимизации вычислений

• Airflow в проде (зависимости/ретраи/backfill, datasets)

• Понимание Iceberg/Delta/Hudi (schema evolution/maintenance)
  Будет плюсом:

• Kafka/Debezium/CDC, Trino/Presto, ClickHouse perf, OpenMetadata
  
  Что мы предлагаем:

• Прозрачная и конкурентная ЗП, трудоустройство по ТК РФ;

• Гибридный или Удаленный формат работы;

• Техника для работы;

• ДМС после испытательного срока;

• Поддержка в трудных ситуациях – мы не просто компания, мы – сообщество;

• Корпоративные скидки BestBenefits – спорт, путешествия, рестораны, курсы, даже косметика;

• Команда, где все на “ты” – нет дресс-кода, нет иерархии, есть доверие.