Опрос и исследование: что говорят ответы
Опрос может быть частью исследования или самостоятельным исследовательским методом. Различать стоит не ярлыки, а вопрос, способ отбора участников и качество измерения. Ответы людей описывают то, что позволяет установить конкретная процедура.
Почему противопоставление сбивает с толку
Исследование — организованный способ получить сведения по вопросу. Опрос собирает ответы людей; кроме него используют наблюдения, документы, эксперименты и другие методы. Заголовок «это всего лишь опрос» не показывает, что сделано плохо. И слово «исследование» не гарантирует качественного результата.
AAPOR рекомендует раскрывать способ формирования выборки, вопросы и условия сбора ответов. Это помогает оценить границы вывода. Учебные числа и сценарии ниже вымышлены: они показывают различия процедур, а не мнение реальных жителей.
Один вопрос — две процедуры
| Параметр | Опрос в канале о велосипедах | Опрос жителей района |
|---|---|---|
| Как попадают участники? | Подписчики сами решают ответить по открытой ссылке. | Адреса выбраны случайно из описанного списка; жителей приглашают по заданному правилу. |
| Что ещё проверить? | Кто подписан, кто увидел ссылку, повторные ответы. | Кого нет в списке, кто отказался, как выбирали человека по адресу. |
| Условный результат | 80 из 100 ответивших поддержали велодорожку. | 120 из 200 ответивших поддержали её при той же формулировке. |
| Допустимая первая формулировка | 80% ответивших в этом канале поддержали предложение. | 60% ответивших в этой процедуре поддержали предложение; перенос на район требует оценки дизайна и неответов. |
Таблицу можно прокрутить в сторону.
Случайный отбор не отменяет остальные вопросы
Даже хорошо задуманный отбор может столкнуться с неответами, неполным списком адресов и трудным вопросом. Не следует объявлять второй опрос идеальным только из-за слова «случайно». Но у него описан способ отбора, который можно проверить. Для открытой ссылки большая численность сама по себе не устраняет самоотбор.
Сверьте формулировки. «Поддерживаете удобную и безопасную дорожку?» одновременно подсказывает оценку и оставляет непонятным проект. «Поддерживаете вариант на схеме с такими изменениями парковки?» задаёт более определённый предмет, хотя и его нужно проверить на понятность. Если вопрос поменялся, разницу ответов нельзя сразу назвать изменением мнения.
Что выписать из отчёта
Кого изучали
Жителей, посетителей или подписчиков? За какой период? Ответ на один вопрос нельзя автоматически переносить на другую группу.
Как собрали ответы
Укажите канал приглашения, отбор, число ответов и известные ограничения. Для доли нужен понятный знаменатель.
Что фактически измеряли
Мнение о проекте, личный опыт или знание факта — разные показатели. Заявленная поддержка не равна будущему поведению.
Какая неопределённость осталась
Погрешность случайной выборки не охватывает автоматически все ошибки отбора, измерения и неответов. Не придумывайте универсальный процент точности.
Упражнение с ответом
Фраза: «Тысяча читателей спортивного канала ответила, значит, это мнение всего города». Чего не хватает? Связи между аудиторией канала и жителями города, процедуры отбора и оценки неответов. Более точный итог ограничивается ответившими; для городского вывода нужен соответствующий дизайн.
Частые вопросы
Опрос бывает научным исследованием?
Да. Качество зависит от исследовательского вопроса, процедуры и анализа. Метод опроса сам по себе не делает работу ни научной, ни ненаучной.
Больше ответов всегда лучше?
Дополнительные ответы могут уменьшать часть случайной неопределённости, но не исправляют автоматически смещение отбора или непонятный вопрос.
По опросу можно доказать причину изменения?
Сам набор ответов обычно не отделяет причину от сопутствующих условий. Причинный вывод зависит от дизайна и дополнительных оснований, а не от названия отчёта.