Когда не хватает смысла
Ошибка выжившего
Выводы по тем, кто прошёл отбор и остался видимым, без учёта тех, кто выбыл. Получившийся портрет успеха может отражать правила отбора, а не причины успеха.
Как это выглядит
Предприниматель изучает интервью основателей работающих компаний. Многие рассказывают, что поставили всё на один продукт, и он решает, что концентрация ресурсов обеспечивает успех. Но закрывшиеся компании могли поступать так же. Пока они отсутствуют в сравнении, по интервью нельзя определить, повышала ли такая стратегия шансы выжить.
Само попадание в наблюдаемую выборку зависит от результата: неудачные организации исчезают, а успешные дополнительно привлекают внимание прессы. В работе Денрелла показано, как недопредставленность неудач способна сделать рискованные практики внешне полезными, даже когда в полной совокупности они не связаны с более высокой результативностью. Для этого не требуется особое предпочтение у наблюдателя: смещение уже может быть заложено в доступных данных. Отдельная ошибка возникает, когда эту выборку принимают за всю совокупность.
Когда стоит насторожиться
Обобщение строят по победителям, долгожителям, действующим компаниям или доступным отзывам, а исходное число участников неизвестно. Общую черту успешных случаев называют рецептом, не проверяя, встречалась ли она у неуспешных. Объяснение не описывает, кто и почему перестал попадать в наблюдение.
Что помогает
Сначала определить исходную совокупность и критерий отбора: кого вообще можно было наблюдать в начале? По возможности добавить закрывшиеся, отказавшиеся и не завершившие участие случаи; сравнивать частоты признака у успехов и неудач. Если данных о выбывших нет, ограничить вывод описанием наблюдаемых случаев, а не оценкой причин и вероятности успеха.
Откуда взялось понятие
Это прежде всего проблема отбора данных и статистического вывода, а не единый лабораторный эффект с универсальным размером. Статья Денрелла разбирает её применительно к обучению на опыте организаций; она не устанавливает, что риск или концентрация ресурсов всегда вредны. Для конкретного набора данных нужно отдельно выяснять механизм исчезновения случаев: не всякая неполная выборка смещает вывод именно таким образом. Восстановление состава выборки улучшает основание сравнения, но само по себе не доказывает причинную связь.