Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков - крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

Обязанности:

• Доработка механизма по выгрузке данных из Hana в Hadoop. Предстоит рефакторинг текущего механизма.
• Настройка ETL-процессов

• Разработка и поддержка backend-сервисов на Java

• Оптимизация выгрузки данных из БД

• Опыт работы с Java (без данного опыта не рассматриваем)
• Опыт работы с SAP Hana
• Опыт работы с Hadoop и HDFS
• Опыт работы с big data
• Опыт работы с PostgreSQL, Redis (желательно), Liquibase (желательно)
• Hibernate, Criteria API, JOOQ
• Опыт работы с Docker, Kubernetes
• Опыт работы с Apache Kafka (желательно)
• Понимание процессов CI/CD
• Понимание принципов REST API

• Аутстафф проект
• Сотрудничество через форму ИП или СЗ
• Участие в интересных и масштабных проектах с классной молодой командой