Автоматизация часто выглядит убедительно раньше, чем начинает приносить пользу. Система отвечает быстро, интерфейс работает, первые примеры кажутся хорошими — и команде хочется перейти к запуску. Но вопрос «работает ли AI?» почти ничего не говорит о продуктовой ценности.
Перед запуском важнее спросить: какой результат мы считаем хорошим, как заметим плохой и кто имеет право остановить процесс?
NIST рассматривает работу с AI как непрерывную последовательность: задать контекст применения, измерять существенные риски и качество, а затем управлять обнаруженными проблемами. Этот подход не сводится к единственной метрике точности: критерии зависят от конкретного сценария, его пользователей и последствий ошибки.[1]
Два результата, которые нельзя смешивать
- Качество ответа или действия AI. Насколько результат точен, полон, релевантен, безопасен и устойчив в ожидаемых условиях.
- Продуктовый эффект. Помогает ли этот результат человеку сделать нужное действие, понять ситуацию, сэкономить время или избежать ошибки.
Можно получить аккуратный AI-ответ, который не решает задачу пользователя. Можно увидеть рост кликов, который возникает из-за любопытства, а не из-за полезности. Поэтому до запуска стоит заранее связать техническую проверку и продуктовую ценность, но не подменять одно другим.
Семь вопросов до запуска
1. Какое действие или решение меняется?
Опишите не технологию, а сценарий пользователя:
«Когда [ситуация], пользователь должен суметь [действие], чтобы [результат]».
Если AI выдаёт рекомендацию, черновик, классификацию или прогноз — что человек сделает с этим дальше? Если на этот вопрос нет ответа, оценивать пока нечего.
2. Что значит «достаточно хорошо»?
Нужны явные критерии: что должно быть в результате, что недопустимо, что можно принять как рабочий черновик. Например, текст опирается только на предоставленные источники; ответ не содержит персональные данные; классификация объясняет свой результат; рекомендация показывает путь к первоисточнику.
3. Какова цена ошибки?
| Тип результата | Пример | Режим проверки |
|---|---|---|
| Черновик | Вариант заголовка, структура заметки | Выбор человеком перед публикацией |
| Операционный помощник | Кластеризация обращений, первичная разметка | Выборочная проверка и путь исправления |
| Рекомендация | Следующий шаг, приоритизация | Проверка владельцем решения |
| Высокая цена ошибки | Здоровье, деньги, персональные данные, права | Усиленная проверка, стоп-условия, возможно отказ от автоматизации |
Чем выше последствия, тем меньше достаточно «в среднем хорошего» результата. Для AI-систем существенны не только средние показатели, но и сбои на конкретных группах и в реальном контексте применения.[1]
4. Какие входные данные разрешены?
До запуска надо определить, какие данные система получает, какие не получает и какие признаки говорят, что контекст недостаточен. Это вопрос не только приватности: плохой или неполный вход почти всегда превращается в уверенно звучащий, но ненадёжный выход.
- список разрешённых и запрещённых источников;
- правила работы с персональными и чувствительными данными;
- минимальный объём контекста для ответа;
- сценарий «данных недостаточно»;
- журнал версий промпта, модели и ключевых правил.
5. Кто и в какой момент проверяет результат?
Человек в процессе — не абстрактный «контроль». Должны быть названы роль, момент проверки и полномочия: кто видит результат до пользователя, что проверяет, что может исправить сам и в каком случае останавливает процесс. Если ответ уже ушёл пользователю, а человек может только посмотреть статистику после этого, это не human-in-the-loop, а мониторинг последствий.
6. Как заметить, что система стала хуже?
AI-функция не заканчивается в день запуска. Меняются входные данные, поведение пользователей, модель, интеграции и контекст применения. До запуска определите сигналы деградации:
- рост доли ручных исправлений;
- повторяющиеся жалобы или тип ошибок;
- увеличение отказов или пустых ответов;
- расхождение с контрольной выборкой;
- изменение важной продуктовой метрики после обновления.
NIST рекомендует измерять и документировать поведение AI в условиях, близких к реальному применению, а затем продолжать мониторинг после запуска.[1]
7. Когда нужно остановить автоматизацию?
Стоп-условие — не признание провала, а часть нормального проектирования. Сформулируйте его до запуска: какую ошибку нельзя допустить ни разу; при каком пороге требуется ручная проверка; кто отключает функцию; к какому безопасному сценарию возвращается пользователь; как фиксируется и разбирается инцидент.
Минимальная карточка качества
- Сценарий: какую задачу человека поддерживает функция?
- AI делает: какой шаг выполняет система?
- Пользователь получает: что видит или может сделать человек?
- Критерии качества: как выглядит хороший, приемлемый и плохой результат?
- Риски: чем грозит ошибка и кому?
- Проверка: кто, когда и по какому правилу смотрит результат?
- Метрики: что измеряем для качества AI и продуктового эффекта?
- Стоп-условия: когда выключаем, ограничиваем или возвращаемся к ручному процессу?
Эта карточка не заменяет юридическую, медицинскую или отраслевую экспертизу там, где она нужна. Она делает обычную продуктовую работу видимой до того, как скорость AI скроет отсутствие договорённостей.
Где здесь C.R.E.A.T.E.
В C.R.E.A.T.E. эта логика проходит через несколько этапов: Context задаёт, для кого и с какими ограничениями существует продукт; Assembly фиксирует измерения, качество и роль человека; Tuning отделяет наблюдение от причины, а идею улучшения — от эксперимента; Expansion не позволяет масштабировать то, что ещё не доказало ценность и управляемость.
AI может ускорить анализ, подготовить варианты и сделать рутинную часть работы. Но качество, риск и решение о запуске остаются продуктовой ответственностью человека.
Источник
- National Institute of Standards and Technology. Artificial Intelligence Risk Management Framework (AI RMF 1.0), 2023.