Data-инженер (ClickHouse)

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Мы ищем инженера, который станет владельцем аналитической инфраструктуры на базе ClickHouse.

• Трансформация сырых данных (бинлоги, события, транзакции) в оптимизированные витрины для BI и ad-hoc аналитики.

• Выбор модели данных (звезда, снежинка, плоские таблицы) в зависимости от бизнес-задач.

• Проектирование таблиц под MergeTree:

  • корректный выбор ORDER BY и PRIMARY KEY;

  • партиционирование (PARTITION BY);

  • настройка TTL;

  • использование Skip Indexes;

  • работа с материализованными представлениями.

• Оптимизация запросов и структуры хранения данных.
  2. Контроль качества данных

• Разработка автоматических проверок и тестов для витрин (контрольные суммы, сверка с эталоном, поиск «дыр» в данных).

• Построение мониторинга качества данных и SLA.

• Анализ и устранение медленных запросов.

• Работа с EXPLAIN, system.tables, system.query_log.
  3. Обучение и стандартизация

• Разработка внутренних гайдлайнов по работе с ClickHouse.

• Проведение код-ревью SQL-запросов и логики трансформаций.

• Проведение внутренних митапов и консультаций для аналитиков.

• Формирование культуры эффективной работы с данными.
  4. Администрирование и эксплуатация

• Настройка конфигурации серверов (память, потоки, max_memory_usage и др.).

• Работа с распределенным кластером: шардирование, репликация.

• Оптимизация нагрузки и профилей настроек (profiles).

• Поддержка streaming ingestion (Kafka → ClickHouse).

• Коммерческий опыт работы с ClickHouse от 1–3+ лет.

• Глубокое понимание движка MergeTree:

  • первичные и разреженные индексы;

  • гранулы;

  • влияние ORDER BY на производительность.

• Опыт проектирования схем хранения данных под аналитические нагрузки.

• Продвинутый SQL:

  • оконные функции;

  • сложные JOIN (с учетом ограничений ClickHouse);

  • работа с массивами, Nested-типами.

• Опыт построения ETL / ELT-пайплайнов.

• Навыки валидации и тестирования данных.

• Готовность выступать внутренним экспертом и наставником.
  
  Будет плюсом:

• Опыт администрирования Linux.

• Работа с распределенными кластерами ClickHouse.

• Опыт работы с Apache Kafka и ClickHouse Kafka Engine.

• Знание PostgreSQL и понимание различий OLTP vs OLAP.

• Опыт работы в highload-проектах.

• Трудоустройство по ИП/СЗ
• Гибридный график работы, 1-2 дня в офисе, офис в г. Москва, м. Кутузовская
• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста