Дата-инженер / Data Engineer

Лаборатория цифрового мониторинга здоровья человека НИИ Системной Биологии и Медицины Роспотребнадзора ищет инженера данных. Мы занимаемся созданием сервиса для анализа и визуализации больших объемов биомедицинских данных в реальном времени. Проект находится на стыке биологии, медицины и современных компьютерных технологий. Уже создан полностью функционирующий прототип системы, который вызывает большой интерес у заказчиков. Вам предстоит вывести процессы интеграции данных на новый уровень и расширить функциональность системы.

Основные задачи:

• Разработка, обновление и поддержка пайплайнов для очистки, стандартизации и интеграции данных от партнеров.

• Мониторинг и поддержка процесса интеграции данных, исправление ошибок и взаимодействие с партнерами для устранения проблем.

• Поиск и интеграция данных из открытых источников, связанных с экологией, демографией и здравоохранением.

• Моделирование схем баз данных для эффективного хранения и обработки больших объемов данных.

Наш стек:

• Python, Pandas, Prefect, SQLAlchemy, PostgreSQL, Clickhouse, Django, FastAPI, Docker

Требования:

• Опыт работы с ETL-процессами и мониторингом интеграционных пайплайнов от трех месяцев. Значительным плюсом будет опыт работы с Prefect или другими системами оркестрации данных.

• Уверенные навыки работы с Python, опыт работы с библиотеками для обработки данных (Pandas).

• Опыт работы с большими и гетерогенными массивами данных: интеграция, стандартизация и подготовка данных.

• Навыки моделирования данных: оптимизация схем баз данных для улучшения производительности.

• Навыки работы в команде, аккуратное ведение документации.

• Способность к эффективной коммуникации для решения вопросов с поставщиками данных

Что мы предлагаем:

• Участие в крупном проекте, имеющем значение для здоровья населения.

• Амбициозные задачи на стыке биологии, медицины и технологий.

• Возможность для профессионального роста и развития.

• Дружелюбная и открытая атмосфера в команде профессионалов.

• Конкурентная заработная плата.