Когда не хватает смысла
Нечувствительность к размеру выборки
Нечувствительность к размеру выборки — склонность оценивать вывод по результату, не учитывая, насколько мала или велика выборка, из которой он получен.
Как это выглядит
Пять отзывов после изменения цены оказались отрицательными, и команда отменяет эксперимент, не сравнив результат с числом наблюдений, разбросом и заранее заданным критерием решения.
Небольшую выборку интуитивно воспринимают как столь же представительную для всей совокупности, как и большую, и недооценивают, насколько сильнее случайные колебания при малом n.
Когда стоит насторожиться
Заявления «все пользователи так считают» или «эффект очевиден» основаны на малом числе случаев; рядом с долей, средним или разницей не указаны n и мера неопределённости.
Что помогает
Всегда показывать размер выборки, способ отбора и интервал неопределённости; заранее планировать минимальный объём данных и не путать большую выборку с репрезентативной.
Откуда взялось понятие
Классическая работа описывает ошибки интуитивного вероятностного суждения и частично опирается на опрос специалистов 1970-х; она не заменяет статистический анализ и не означает, что увеличение n исправляет смещённую или нерепрезентативную выборку.