Ведущий Data Engineer / Специалист по качеству данных (MS SQL, Airflow, 1С)

Мы ищем ведущего Data Engineer / специалиста по качеству данных, который возьмёт в работу развитие корпоративного хранилища данных и внедрение систем контроля качества данных (Data Quality). Вы будете проектировать ETL-процессы, оптимизировать хранилище, работать с MS SQL, Airflow и 1С, а также выстраивать механизмы автоматического обогащения и проверки данных.

Это роль для тех, кто любит копаться в данных, находить корневые причины проблем и строить надёжные, масштабируемые решения.

Задачи:

• Проектирование, развитие и поддержка хранилища данных (на текущий момент используется MS SQL Server).

  Написание сложных SQL-запросов, оптимизация их производительности, создание хранимых процедур, функций и представлений в MS SQL Server.

  Работа с табулярами (MS SQL Tabular, DAX) – развитие и создание новых.

  Работа с OLAP кубами (MS SQL OLAP) – поддержка.

• Разработка, поддержка и оптимизация ETL/ELT процессов загрузки данных из различных источников (в первую очередь 1С:УТ) в хранилище данных.
• Настройка и поддержка работы оркестраторов (на текущий момент, MS SSIS и задания SQL Server Agent; в ближайшей перспективе, также AirFlow).
• Создание и поддержка механизмов контроля качества данных:

  Разработка и настройка проверок на целостность, достоверность, согласованность, полноту и точность данных на всех этапах ETL. Обеспечение актуальности данных.

  Создание системы оповещений о нарушениях качества данных для оперативного реагирования; механизмов автоматического исправления и обогащения данных.

  Проактивный поиск и устранение причин появления "грязных" данных.

• Тесное взаимодействие с коллегами по ИТ, а также пользователями, для понимания текущих проблем и потребностей, и трансляции их в технические требования к данным.
• Документирование разработанных процессов и решений.

Требования:

• Релевантный опыт работы от 2-х лет.
• Знание и опыт использования современных практик построения хранилищ данных. Практический опыт реализации практик Data Quality. Желание проактивно участвовать в построении корпоративного хранилища данных.
• Глубокое знание MS SQL, включая практический опыт создания хранилищ данных, работы с табулярами, OLAP, SSIS, использования DAX, создания и настройки заданий SQL Server Agent.
• Базовые знания архитектуры данных в 1С. Понимание структуры таблиц и представлений баз 1С; умение получить информацию из справочников, документов, регистров накопления,...
• Практические навыки подготовки и выгрузки данных в структурированные файлы (XLSX, CSV) и автоматизации их рассылок, с соблюдением заданных шаблонов и форматов (в части работы с табулярами). Опыт работы с MS Report Server.
• Опыт разработки ELT/ETL-процессов (SSIS, Python), опыт использования Kafka.
• Опыт работы с Apache Airflow (развёртывание и настройка, написание DAG). Продвинутое знание Python для написания скриптов и ETL-задач.
• Умение работать с системами контроля версий (Git).
• Навыки работы с Excel (умение разобраться с Power Query в уже имеющихся отчётах).

Будет преимуществом и поможет в работе:

• Понимание бизнес-процессов в оптовой торговле, логистике, производстве (запасы, продажи, закупки, маржинальность).
• Опыт с Power BI Report Server, Power BI Desktop/Mobile, Report Builder.
• Работа в Jira / Azure DevOps, Slack, Google Workspace.
• Знание конфигураций 1С (УТ, УУ, ДО, КА).
• Основы теории вероятностей и матстатистики.
• Опыт администрирования MS SQL Server 2022.

Личные качества:

• Проактивность — вы не ждёте задач, а предлагаете улучшения.
• Аналитический склад ума + перфекционизм в отношении качества данных.
• Умение декомпозировать задачи, оценивать сроки и отвечать за результат.
• Способность разбираться в сложных, недокументированных системах.
• Коммуникабельность — умеете говорить на одном языке и с технарями, и с бизнесом.
• Жажда развития — data engineering для вас не просто работа, а образ жизни.

• Мы предлагаем:

• Работа и возможность профессионального роста в аккредитованной IT компании;
• Оформление по ТК РФ;
• График работы: гибридный (4/1; 3/2; 2/3); 8.00-17.00/ 9.00-18.00. Возможен удаленный формат работы.
• Стабильная выплата заработной платы;
• Корпоративное обучение;
• Место работы: комфортный офис класса А+ в БЦ "Newton Plaza" (12 минут пешком от м. Нагатинская);
• Уютное корпоративное кафе;
• Корпоративные скидки на фитнес.