Выборочный отбор фактов: что осталось за кадром
Выборочный отбор фактов возникает, когда вывод строят по удобной части относящихся к вопросу данных, а остальные случаи скрывают или пропускают. Проверить подборку помогает вопрос: по какому правилу примеры включали и исключали?
Правило отбора важнее убедительной подборки
Internet Encyclopedia of Philosophy связывает cherry-picking с неполным предъявлением существенных оснований. Проблема возможна и без намеренного обмана: человек может не заметить неудобные случаи. По одной неполной подборке нельзя устанавливать его мотив.
Учебная ситуация: организатор заявляет, что новый порядок подготовки всегда помогает сдавать проекты вовремя, и показывает четыре успешных проекта. В журнале есть ещё шесть. Все десять относятся к тому же периоду и порядку работы. Числа и проекты ниже придуманы, а результат означает только соблюдение согласованного срока.
Полный условный журнал
| Проект | Срок соблюдён? | В показанной подборке? |
|---|---|---|
| А | Да | Да |
| Б | Да | Да |
| В | Да | Да |
| Г | Да | Да |
| Д | Нет | Нет |
| Е | Нет | Нет |
| Ж | Да | Нет |
| З | Нет | Нет |
| И | Да | Нет |
| К | Нет | Нет |
Таблицу можно прокрутить в сторону.
Как меняется ответ после возвращения случаев
В подборке четыре из четырёх проектов сданы вовремя — 100%. В полном журнале шесть из десяти — 60%. Фраза «все проекты сданы вовремя» неверно описывает полный набор. Но 60% сами по себе тоже не устанавливают, улучшил ли новый порядок результат: нужен сопоставимый прежний период и проверка других различий.
Когда исключение оправдано
Если вопрос изначально касается только коротких проектов, длинные могут не входить в анализ. Тогда критерий длительности задают явно, применяют ко всем случаям и не выбирают порог потому, что за ним оказались неудачи. В нашем примере условия включения охватывают все десять проектов, поэтому убрать Д и Е только за опоздание нельзя.
Отсутствующие записи не следует молча считать успешными или неуспешными. Укажите, сколько результатов неизвестно, и как это ограничивает вывод. Полнота списка и качество измерения — отдельные задачи: можно собрать все проекты, но по-разному определять их завершение.
Как пересобрать подборку
Опишите область
Период, тип проектов и единица наблюдения должны быть понятны. Один проект с тремя отчётами не становится тремя независимыми успехами без объяснения.
Восстановите пропущенное
Проверьте журнал, архив и записи о задержках. Ищите не только другой яркий пример, но и полный список в обозначенных границах.
Повторите расчёт
Покажите числитель и знаменатель. Если меняются условия включения, представьте отдельные результаты и причину изменения.
Сузьте итог
Можно признать несколько удачных случаев, отказавшись от «всегда». Для причинного вывода о новом порядке потребуется дополнительная проверка.
Упражнение с ответом
Автор оставил в обзоре только проекты без смены руководителя и получил высокий процент успеха. Что спросить? Был ли этот критерий выбран заранее, сколько проектов исключено и почему смена руководителя относится к вопросу. Возможно, это полезная отдельная группа; возможно, из обзора исчезли именно проблемные случаи. Решение требует журнала отбора.
Частые вопросы
Нужно ли приводить вообще все факты?
Нет. Нужны существенные сведения в ясно заданных границах. Отбор неизбежен; проверяют, обоснован ли он задачей и одинаково ли применяется к удобным и неудобным случаям.
Один пропущенный случай опровергает статью?
Он может опровергнуть формулировку «всегда», но не любой более узкий вывод. Сначала выясните его достоверность, относимость и влияние на заявленное утверждение.
Чем это отличается от ошибки подтверждения?
Выборочный отбор описывает состав предъявленных данных. Ошибка подтверждения касается склонности искать и понимать сведения в пользу своей позиции. Они могут сопровождать друг друга.