Prompt Engineer / LLM Engineer

О проекте

Мы создаём LLM-оркестратора («Агент ТОиР»), который автоматически генерирует и поддерживает документацию ТОиР: карты ТО, ведомости МТР/инструментов/СИ, требования к персоналу/безопасности, планы ППР/ППО, протоколы, акты, а также обрабатывает внеплановые кейсы. Система опирается на НСИ/нормативы, RAG-поиск, шаблоны документов и строгую последовательность зависимых артефактов.

Миссия и роль

Спроектировать и поддерживать промт-архитектуру и «правила игры» для LLM так, чтобы агент ТОиР генерировал корректные, трассируемые и воспроизводимые документы, опираясь на нормативы и источники, с предсказуемыми затратами и временем отклика.

Зоны ответственности

Архитектура промтов и сценариев

• Проектирование многоуровневых промтов (system/developer/user), ролей и инструментов (function calling/structured output).

• Создание библиотек шаблонов промтов для типовых артефактов ТОиР (карты ТО, ведомости, протоколы, акты, ППР/ППО).

• Разработка DSL/плейбуков генерации: пошаговые цепочки (decompose → retrieve → reason-with-constraints → generate → validate → cite).

Grounding, RAG и цитирование

• Настройка retrieval-шагов: формирование запросов, выборка фрагментов, обязательное цитирование НД/НСИ в выходных данных.

• Политики отказа: если релевантных источников нет/устарели — контролируемый отказ, а не «догадка».

Структурированный вывод и валидация

• Строгие JSON-схемы для всех выходов агента (в т.ч. мэппинг в docx/html-шаблоны).

• Автоматические валидаторы (Pydantic/JSON Schema/guardrails), пост-правки (self-check, critique-loop) без раскрытия внутренних рассуждений пользователю.

Качество, метрики и PromptOps

• Построение оценочного контура: golden-datasets, регрессионные наборы, метрики groundedness/faithfulness, precision\@k retrieval, schema-validity, citation-coverage, latency p95/сost.

• A/B-эксперименты по шаблонам промтов и цепочкам; ведение реестра промтов (версионирование, semantic diff, Changelog).

• Наблюдаемость: логи запросов/ответов, трейсинг цепочек, алерты по деградациям.

Безопасность и соответствие домену

• Гардрейлы: запрет «галлюцинаций», проверка дат/версий нормативов, блоки-памятки по ОТ/ЭБ, корректная терминология.

• Политики: «не раскрывать внутренние рассуждения», фильтры чувствительных данных, единицы измерения и округления.

Основные артефакты (deliverables)

• Набор system/developer-промтов по каждому артефакту ТОиР + справочники подсказок (style-guides).

• JSON-схемы выходов, валидаторы, примеры и негативные тесты (schema-fuzzing).

• Prompt Registry: каталог промтов, версии, Changelog, инструкции отката.

• Эвал-отчёты: метрики качества/стоимости/задержек, графики деградаций, чек-листы релизной готовности.

Требования (must-have)

• 2–4+ года в LLM/NLP/Prompt Engineering или ML-продуктах; опыт промтов под русскоязычную документацию.

• Практика structured output (JSON Schema, function calling), RAG-подходов и «grounded generation».

• Уверенный опыт в вариантном тестировании промтов (A/B), построении golden-сетапов, метрик качества.

• Понимание доменных ограничений: нормативные ссылки, версии, единицы измерения, безопасность работ и пр.

• Инженерная дисциплина: Git, код-ревью артефактов промтов, ведение реестра, reproducibility.

• Коммуникации: умение переводить бизнес-требования BA в промт-цепочки и обратно.

Инструменты/стек (ориентир)

PromptOps: Git + Prompt Registry (semantic-diff), CI для эвалов.

Валидация: JSON Schema/Pydantic/guardrails, собственные чекеры.

Оценка: наборы эталонов, скрипты автопроверок, отчётность (ноутбуки/дэшборды).

Документы: docx/html-шаблоны и маппинг данных.

Условия

• от 300к на руки

• оформление по ТК

• живая команда, гибкое принятие решений

• KPI к этапам и результатам

• комфортный удобный офис (Москва сити)

• возможен гибрид после ИС