Когда не хватает смысла
№ 189
Ошибка техасского стрелка
Ошибка техасского стрелка — подгонка объяснения или критерия успеха под уже известные результаты. Сначала находят удобное совпадение, затем представляют его так, будто именно его и собирались проверить. Название отсылает к стрелку, который рисует мишень вокруг попаданий после выстрелов.
Как это выглядит
Представим: перед запуском сервиса команда обещала увеличить число платящих клиентов. Продажи не выросли, зато публикацию о запуске активно обсуждали. В отчёте команда объявляет главной целью узнаваемость и сообщает об успешном выполнении плана, не упоминая первоначальную цель. Новая метрика может быть полезной, но она не доказывает успех по исходному критерию.
Когда результат уже известен, можно подобрать показатель, период, подгруппу или границы сравнения, при которых история выглядит убедительно. При большом числе возможных разрезов особенно легко заметить удачный и оставить остальные за кадром. В статье Эверса этот риск разобран на примере исследований и прогнозных моделей: модель, созданная на определённых данных, должна проверяться на независимых данных, а не только на тех же наблюдениях. Перенос на проектный отчёт — аналогия той же ошибки обоснования, а не результат отдельного эксперимента об управлении.
Когда стоит насторожиться
Насторожитесь, если после получения данных без объяснения меняются цель, основная метрика, срок или состав оцениваемой группы. Полезно сравнить итоговый отчёт с исходным планом: был ли критерий зафиксирован до результата и показаны ли результаты по остальным критериям? Само обнаружение новой закономерности не является ошибкой; проблема появляется, когда её выдают за заранее поставленную и уже подтверждённую цель.
Что помогает
До начала работы зафиксируйте цель, показатель, период оценки и условия успеха. После завершения отдельно покажите результат по исходному плану и неожиданные находки. Новую гипотезу можно использовать для следующей проверки на независимых данных. Если цель пришлось изменить по ходу проекта, сохраните дату и причину изменения: честный пересмотр плана отличается от переписывания его задним числом.
Откуда взялось понятие
Это название ошибки статистического и аргументативного вывода, а не самостоятельный психологический эффект с единой измеренной силой. Приведённый источник — методологическая редакционная статья, не эксперимент о поведении всех людей. Понятие пересекается с иллюзией кластеризации, но делает акцент на выборе «мишени» после наблюдения попаданий. От HARKing оно отличается широтой: HARKing касается представления придуманной после результатов научной гипотезы как исходной. Законное изменение цели или открытый исследовательский поиск сами по себе не являются такой ошибкой.