Когда не хватает смысла

Иллюзия валидности

Иллюзия валидности — неоправданная уверенность в прогнозе, когда входные данные складываются в убедительную историю, но их предсказательная сила не проверена.

Как это выглядит

Менеджер после содержательного интервью уверенно прогнозирует успех кандидата, хотя не сверяет прогноз с базовой частотой и последующими результатами найма.

Механика

Соответствие данных знакомому образцу повышает субъективную уверенность; при этом надёжность сигналов, базовые частоты и регрессия к среднему могут остаться без должного веса.

Когда стоит насторожиться

Уверенность растёт вместе с количеством согласующихся деталей, но нет заранее заданного критерия успеха, проверки на новых данных или журнала прогнозов.

Что помогает

Разделять впечатление и валидацию: заранее определить метрику, сравнить с базовым прогнозом, проверять результаты на отложенных данных и калибровать прогнозы по факту.

Откуда взялось понятие

Название восходит к исследованиям интуитивного прогнозирования и близко к более широкой литературе о чрезмерной уверенности. Оно не является отдельным клиническим диагнозом, а перенос лабораторных результатов на конкретную профессию требует проверки.