Когда не хватает смысла
Смещение автоматизации
Предвзятость к автоматизации — склонность чрезмерно полагаться на рекомендацию или сигнал автоматизированной системы и недостаточно проверять противоречащие данные.
Как это выглядит
Специалист видит, что система оценки риска не подала сигнал, и не замечает важный показатель в исходных данных; в другом случае он следует ошибочной рекомендации вопреки надёжному источнику.
Автоматизированная подсказка может заменять активный поиск и сверку информации, создавая ошибки пропуска, когда система не сигнализирует о проблеме, и ошибки следования, когда её неверной рекомендации доверяют.
Когда стоит насторожиться
Человек не может объяснить ограничения инструмента, не сверяет критические случаи с первичными данными или считает отсутствие сигнала доказательством отсутствия риска.
Что помогает
Заранее определить случаи обязательной ручной проверки, показывать данные и неопределённость вместе с рекомендацией, отслеживать ошибки инструмента и сохранять ответственность человека за итоговое решение.
Откуда взялось понятие
Данные сформированы главным образом в исследованиях авиации, операторской работы и систем поддержки решений; частота и цена ошибки зависят от надёжности системы, задачи, нагрузки и качества интерфейса, поэтому термин нельзя механически переносить на любой ИИ-сервис.
- Skitka, L. J., Mosier, K. L., & Burdick, M. (1999). Does automation bias decision-making? International Journal of Human-Computer Studies, 51(5), 991–1006. https://doi.org/10.1006/ijhc.1999.0252
- Parasuraman, R., & Riley, V. (1997). Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886