Когда не хватает смысла
Иллюзия кластеризации
Иллюзия кластеризации — склонность считать естественные серии и локальные скопления в случайных данных признаком скрытой закономерности.
Как это выглядит
После трёх сбоев сервиса за час команда объявляет, что нашла общий дефект, хотя без сравнения с базовой частотой и логами это может быть случайная серия независимых событий.
Интуитивное представление о случайности часто ожидает равномерного чередования; поэтому серии повторов кажутся слишком упорядоченными, чтобы возникнуть без общей причины.
Когда стоит насторожиться
Причина объявляется по короткому отрезку данных, без заранее заданного критерия, проверки альтернатив и сравнения с тем, какие серии ожидаемы при случайном процессе.
Что помогает
Сначала определить базовую частоту, размер окна и правило обнаружения; визуализировать весь ряд, а не только заметный фрагмент; проверять предполагаемую причину на новых данных.
Откуда взялось понятие
«Иллюзия кластеризации» — не вполне единый термин: её иногда смешивают с ошибкой игрока или обсуждением «горячей руки»; исследования восприятия случайности чувствительны к формулировке задач, а случайные процессы действительно могут давать серии.
- Nickerson, R. S. (2002). The production and perception of randomness. Psychological Review, 109(2), 330–357. https://doi.org/10.1037/0033-295X.109.2.330
- Bar-Hillel, M., & Wagenaar, W. A. (1991). The perception of randomness. Advances in Applied Mathematics, 12(4), 428–454. https://doi.org/10.1016/0196-8858(91)90029-I