Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Сейчас мы приглашаем опытного Data инженера.

• Проводить анализ источников данных в легаси-БД MSSQL: собирать информацию о структуре и наполнении, выявлять ключевые бизнес-сущности, взаимосвязи и регламентные операции;

• Проектировать и оптимизировать потоки переноса данных из MSSQL в новое хранилище;

• Разрабатывать и поддерживать модели данных и трансформации в dbt для формирования итоговых витрин;

• Организовывать и автоматизировать процессы оркестрации с помощью Airflow: настройка запусков, мониторинг, создание алертов, управление зависимостями тасок и DAG-ов;

• Контролировать качество данных, проводить тестирование и обеспечивать целостность при миграции и трансформациях;

• Внедрять и сопровождать процессы инкрементальной загрузки, а также оптимизировать производительность;

• Работать с потоками данных и интеграцией через Kafka для обмена событиями в режиме реального времени;

• Использование систем контроля версий (Git) и контейнеризации (Docker) будет преимуществом.

• Глубокие знания и практический опыт работы с реляционными базами данных: понимание структуры, способов наполнения и управления данными;

• Умение писать и оптимизировать сложные SQL-запросы, включая использование оконных функций, CTE и маппингов между базами;

• Опыт проектирования и построения моделей данных, адаптированных под аналитические задачи и эффективную работу DWH;

• Понимание принципов нормализации и денормализации, владение подходами построения схем «звезда» и «снежинка» и их практическое применение;

• Навык создания устойчивых и масштабируемых моделей данных с учётом особенностей источников и целевых систем;

• Знание методологии Data Vault и современных подходов к моделированию, обеспечивающих прозрачность, хранение истории изменений и восстановление данных;

• Опыт документирования моделей данных и поддержания их совместимости с процессами ETL/ELT и бизнес-метриками;

• Умение управлять изменениями модели при росте объёмов данных и изменении требований аналитики;

• Владение Python для автоматизации и работы с данными;

• Опыт работы с объектными хранилищами (S3), стримингом данных (Kafka), реляционными СУБД (Postgres, MSSQL), NoSQL-решениями (MongoDB) и аналитическими СУБД (ClickHouse);

• Практический опыт создания и поддержки ETL/ELT-конвейеров данных;

• Навыки построения моделей данных и трансформаций с использованием dbt, знание SQL и шаблонизации в dbt;

• Опыт оркестрации процессов с помощью Apache Airflow: настройка DAG-ов, автоматизация и мониторинг задач;

• Понимание методологий и практик DataOps: контроль версий, тестирование, мониторинг и безопасное развёртывание моделей данных;

• Умение работать с технической документацией и описывать процессы;

• Способность эффективно взаимодействовать в кросс-функциональной команде, понимать бизнес-контекст задач;

• Самоорганизация, инициативность и готовность самостоятельно решать технические и организационные вопросы.

• Трудоустройство по ИП/СЗ
• Работаем удаленно
• Работа с современными и передовыми технологиями
• Широкие возможности для профессионального и карьерного роста

В нашей команде работают профессионалы с разносторонним опытом. Здесь ты найдешь профессиональные задачи и новые вызовы, сможешь реализовать свой потенциал.
Хочешь стать частью нашей команды? Мы ждем твоего отклика и свяжемся с тобой !