Data Engineer

LIAN — системный интегратор с фокусом в аналитике и управлении данными.

Мы работаем в трех направлениях:

1. Автоматизация управленческой отчетности (BI) в малом и среднем бизнесе. Строим хранилища данных, настраиваем сбор и интеграцию, разрабатываем отчеты и дэшборды. Наш стек в BI включает все современные инструменты, в том числе open-source ПО.

2. Заказная разработка аналитических систем. Когда у нашего клиента есть специфичный запрос, мы разрабатываем аналитические системы с нуля. Часто применяем подходы BigData, Data Science, актуальные подходы к программному анализу данных и прогнозированию.

3. Запуск и ресурсное обеспечение команд разработки в комплексных проектах цифровой трансформации. Мы усиливаем команды наших партнеров и клиентов собственными сотрудниками и обеспечиваем максимально быстрый старт новых проектов. Среди наших заказчиков -крупные системные интеграторы, банки, нефтегазовые, химические производства, логистические компании, стартапы.

О проекте: Перенос существующего корпоративного хранилища данных (КХД) с MS SQL Server (диалект T-SQL) на Greenplum. Задача включает миграцию логики расчетов и переписывание ETL-процессов, написанных на Python, для работы с Greenplum.

Обязанности:

• Основная цель: взять данные из разных таблиц на ODS и DDS слоях хранилища, рассчитать значения по некоторым правилам, записать в DDS слой.

• Анализ и декомпозиция сложных SQL-запросов на T-SQL.

• Разработка и оптимизация SQL-запросов для Greenplum (диалект PostgreSQL).

• Переписывание Python-скриптов, содержащих многострочные SQL-запросы, для совместимости с Greenplum.

• Внедрение необходимых изменений в структуру данных и запросы, обусловленных спецификой Greenplum.

• Документирование разработанных ETL-процессов.

• Уверенное знание Python и опыт написания скриптов для ETL.

• Опыт работы с SQL: глубокое понимание логики сложных запросов, умение их оптимизировать и рефакторить.

• Опыт работы с Greenplum и PostgreSQL.

• Умение разбираться в чужом коде и выявлять логику бизнес-правил.

• Опыт работы с хранилищами данных (DWH).

Будет плюсом:

• Опыт миграции баз данных.

• Опыт работы с T-SQL.

• Участие в интересных и масштабных проектах с классной молодой командой
• Аутстафф проект
• Сотрудничество через форму ИП или СЗ