Инженер геоданных (Geo Data Engineer /GIS Data Engineer)

О команде

Мы – команда АО НПК «БАРЛ»: российской инженерной компании в сфере космических технологий, ДЗЗ и геоинформационных решений. В этом направлении мы разрабатываем прикладное программное решение, которое объединяет данные из разнородных источников (ДЗЗ, телеметрию, справочные и открытые данные) в единое хранилище, выполняет автоматическую обработку и анализ с применением методов машинного обучения, поддерживает релевантную выдачу результатов пользователю через веб-интерфейс и отчётные материалы.
В команду нужен инженер геоданных с уклоном в разработку ETL/ELT.

Чем предстоит заниматься (обязанности)

Задача роли – организовать и реализовать полный цикл подготовки данных: изучение источников геоданных, предложения к структурам их хранения, разработка и настройка автоматического сбора, приведение векторных и растровых данных к единому виду, организация хранения, подготовка ML-витрин, обеспечение качества и производительности.

Интеграция источников и сбор данных

• Изучать новые источники данных и предлагать структуры хранения: анализировать формат, схему, качество данных, частоту обновления и ограничения доступа; формировать описание источника и проектировать слой хранения (сырой – нормализованный слой – ML-витрины), включая ключи уникальности, версионирование и правила дедупликации.
• Подключать новые источники данных: API/HTTP, файлы, БД, геосервисы (OGC WMS/WFS/WMTS), FTP/S3-подобные хранилища.
• Разрабатывать и поддерживать коннекторы, сервисы загрузки: повторные попытки, ограничение запросов, контроль прогресса, идемпотентность, дедупликация.
• Организовать сбор данных в сырой слой (staging) и приводить их в целевую схему: очистка, нормализация и т.д.

Геоданные (ядро роли)

• Загружать и приводить геоданные к единому формату: работать с векторными и растровыми данными – GeoJSON, GeoPackage, Shapefile, KML, GeoTIFF, COG (Cloud Optimized GeoTIFF) и другими форматами.
• Организовывать хранение векторных геоданных в PostGIS: поддерживать геометрию объектов, настраивать пространственные индексы, проверять и исправлять некорректные геометрии.
• Организовывать хранение растровых данных: готовить и размещать GeoTIFF/COG и другие растры в файловом или S3-совместимом хранилище; в PostGIS хранить метаданные растра (время, покрытие, CRS, разрешение, ссылки/пути, контрольные суммы) и обеспечивать быстрый поиск по области и времени.
• Работать с системами координат: определять и приводить данные к нужной системе координат (CRS), выполнять преобразования и контролировать типичные ошибки привязки.
• Готовить данные для отображения на карте: упрощать геометрию, выбирать формат выдачи (GeoJSON/тайлы), при необходимости формировать тайлы и облегчённые представления.

Качество, эксплуатация

• Настраивать контроль качества данных: проверки полноты, корректности, актуальности, поиск дублей и аномалий, формирование отчётов по качеству.
• Оптимизировать хранение и запросы: настраивать индексы, при необходимости применять партиционирование по времени/объёму и улучшать производительность обработки.
• Вести понятную техническую документацию: описывать форматы и структуру данных, договорённости по полям и правилам, а также весь поток обработки – от источника до витрин/выдачи.

Наши ожидания (обязательные требования)

• Практический Python для обработки данных и написания сервисных скриптов.
• PostgreSQL/PostGIS: уверенный SQL и понимание PostgreSQL (индексы, транзакции, ограничения, оптимизация запросов) и базовые навыки работы с PostGIS (геометрии, пространственные запросы, пространственные индексы).
• Опыт построения загрузки данных «с нуля» (ingestion/ETL/ELT): подключение источников, расписания, повторные запуски, контроль прогресса, идемпотентность, дедупликация, ведение сырого слоя.
• Геоданные и ДЗЗ как основная область:
  • понимание геометрий и систем координат (CRS — Coordinate Reference System), типовых ошибок привязки и преобразований;
  • работа с форматами геоданных (вектор/растр), включая GeoTIFF и COG (Cloud Optimized GeoTIFF);
  • базовое понимание данных ДЗЗ: метаданные сцен, подготовка данных для отображения (квиклуки, тайлинг).
• Linux и Git: уверенная работа в терминале и с системой контроля версий.

Будет плюсом

• PostGIS на практике: GiST-индексы, ST_*-функции, проверка/исправление некорректных геометрий, оптимизация пространственных запросов.
• Знание «геоинструментов»: GDAL/OGR, GeoPandas, Shapely, PyProj, Rasterio.
• Оркестрация пайплайнов: Airflow / Prefect / Dagster (или аналоги), опыт эксплуатации задач и мониторинга.
• Хранилища и деплой: S3-совместимые хранилища (MinIO/AWS S3), Docker, CI/CD.

Кому эта роль НЕ подойдёт

• Если ваш основной опыт — витрины/отчётность поверх уже готового DWH, где источники и схемы даны, а разработка загрузки, разбор форматов и работа с “грязными” данными минимальны.
• Если вам ближе BI-аналитика и отчёты, а не инженерия интеграции: коннекторы, ingestion, нормализация, контроль качества.
• Если вы не готовы работать с геоданными (CRS, геометрии, PostGIS, форматы вектор/растр) как с основной частью задач.

Мы предлагаем

• Оформление по ТК.
• Гибкий график, офис/удалёнка/гибрид.
• Адекватный процесс: задачи через понятные требования, возможность влиять на технические решения.
• Время на развитие: обучение инструментам, обмен опытом.
• Уровень дохода обсуждается по итогам собеседования.