«Не навреди»: когда интервьюер из лучших побуждений меняет смысл вопроса

«Ошибки интервьюера» на протяжении всей истории массовых опросов остаются одной из ключевых проблем, влияющих на качество данных. Аналитик ФОМ и участник EMCA_RU RESEARCH GROUP Артём Рейнюк выступил на III Форуме полевых интервьюеров с докладом о типичных ошибках, которые совершают интервьюеры, стараясь сделать общение с респондентом более живым. Мы приводим его речь с незначительными правками, которые не искажают смысл выступления, но призваны сделать его более удобным для чтения.

 «В своём докладе я не буду говорить о фальсификациях, когда интервьюеры стараются выполнить работу побыстрее или намеренно её саботируют. Я расскажу о ситуациях, продиктованных «благими намерениями». Когда в попытке наладить контакт с респондентом и сделать общение более живым интервьюеры адаптируют формулировки вопросов так, что это приводит к серьезным искажениям данных.

Кейс 1. «Митинговать будете?»

Уже около года в Фонде ходит что-то вроде байки про один из наших стандартных мониторинговых вопросов. Вот он на слайде:

В какой-то момент в одном регионе мы заметили сильное снижение динамики по показателям протестной активности. Причём без каких-либо очевидных оснований для этого: все остальные показатели плюс-минус стабильны, а конкретно этот немного проваливается.

Мы посмотрели разбивку массива по интервьюерам, и обнаружили, что у одного из них этот провал очень заметный. Послушав записи, мы обнаружили, что он задавал этот вопрос следующим образом: «Митинговать будете?».

Я не берусь его осудить, в коммуникативной ситуации все смотрелось довольно органично. Он очень живо и другие вопросы задавал, но здесь, видимо, ему хотелось проявить максимальное участие. Только вот респондентов такая постановка вопроса не радовала,  и поэтому они отвечали «Нет».

Печальная суть этого кейса в том, что при состоявшемся благодаря усилиям интервьюера контакте полностью нарушается модальность вопроса. В формулировке интервьюера вопрос начинает звучать примерно так: «Пойдете ли вы завтра митинговать по какому-то конкретному вопросу?» Но изначальный смысл совсем другой: «Допускаете, не исключаете ли для себя возможность? Будете ли вы участвовать, если что-то произойдет?». Это модальность возможного участия. Таким образом, вопрос тотально меняет смысл, а следом сильно меняются и данные. Поэтому не всегда стоит в угоду естественному разговору адаптировать формулировки.

Кейс 2. «Или вы ничего об этом не знаете?»

Следующий кейс – в чём-то похожая ситуация. Мы смотрели распределения по одному и тому же вопросу, собранные в одном регионе с небольшим разрывом по времени. Но данные были собраны при помощи разных способов: face-to-face интервью и интервью по телефону (CATI). Вопрос был про оценку работы губернатора. На слайде видно, как различаются распределения, обратите внимание на позицию «ничего не знаю о его работе»:

Когда мы стали разбираться и п(р?)ослушали записи, поняли, что на уровне инструкций позиция «ничего не знаю о его работе» вообще не предназначена для зачитывания. Фиксировать этот ответ нужно было только в том случае, если человек реагирует на вопрос в духе: «Мне нечего сказать, я не знаю ничего».

Проблема была в том, что в face-to-face это предписание входит только в базовый набор инструкций к анкете. В телефоннике инструкция о том, что не надо зачитывать вариант «ничего не знаю о работе», стояла прямо в вопросе.

Базовое правило для всех фомовских анкет: не зачитывать варианты, которые не отражены в самой формулировке вопроса. То есть, если бы в вопросе было написано «как вы считаете, губернатор работает на своём посту хорошо или плохо, или вы ничего об этом не знаете», тогда всё было бы корректно. Но вопрос был сформулирован иначе.

И вроде, опять же, в коммуникативной ситуации зачитывание этого варианта – вполне логичное действие, потому что респондент действительно может ничего не знать о работе губернатора. Но делать так не следует, ведь это приводит к серьёзным искажениям в данных.

Кейс 3. Соблюдение альтернативности

Ещё одна история произошла сравнительно недавно, когда мы замеряли известность политиков в конкретных регионах. Вот как звучал вопрос:

На практике мы встречаем у интервьюеров два типичных способа задать этот вопрос. «Сейчас я назову вам несколько политиков, и вы скажете про каждого, известен ли он вам или вы ничего о нём не слышали? Известен или не известен вам такой-то политик?». В вариантах ответа обычно указано имя и род деятельности политика, например, директор завода.

Интервьюеры зачитывают вопрос, а дальше начинают перечислять: «Петров, директор завода «Н», Сидоров директор завода «К». И так далее, не повторяя «известен или не известен» для каждой позиции. Это отклонение, но оно не является большой проблемой. Мы понимаем, что за этим стоит попытка сделать общение более живым, не обременять его громоздкими формулировками. По нашему опыту это не ведёт к отклонениям в данных, если интервьюер задаёт вопрос именно так. Это первый вариант.

Но возможен и другой случай. Человек произносит базовую формулировку, а дальше начинает спрашивать так: «Известен ли вам Иванов, который делает то-то?», «Известен ли вам Петров, который делает то-то?». Интервьюер не воспроизводит альтернативную позицию – «не известен». И этот уход от альтернативности тоже очень серьезная штука, о которой надо помнить. Практика показывает, что при такой формулировке может подскочить и доля затруднившихся, и доля тех, кто говорит, что известен тот или иной человек.

Объяснение примерно такое – когда респонденту не озвучивается альтернативная позиция, ему становится сложнее признаться в том, что он чего-то не знает. Людям сложнее ответить, что они не знают какого-то известного человека в своём регионе, если вопрос не предполагает такой возможности.

Ещё один пример альтернативности, который приходит в голову – это дихотомия: «Одни» и «Другие». Например, вопрос: «Одни считают, что присоединение Крыма принесло России больше вреда, чем пользы, другие считают, что и пользы, и вреда в равной степени». Я сейчас неточную формулировку привожу, но суть в том, что включая в вопрос альтернативную позицию, мы тем самым легитимируем её. Можно согласиться, что больше вреда, можно согласиться, что пользы и вреда поровну.

Но если эта альтернативность пропадёт, то данные сразу же начинают скакать. Потому что респондент сам не может произвести озвучить это высказывание, для него не сформулировали позицию. Такое нарушение симметрии почти всегда приводит к смещению данных.

Кейс 4. Бесконечный список

Ещё один кейс связан с таким жанром пакетных вопросов как карточки. Это когда человеку даётся карточка, интервьюер зачитывает вопрос, а человек выбирает сам ту позицию, которая больше ему подходит. С карточками в разные времена обнаруживались разные эксцессы. К примеру, классический вопрос о материальном положении в одном из наших исследований.

Как мы видим из приведённого диалога, интервьюер начинает проходить каждую позицию карточки с респондентом, заставляя его выбирать по каждой позиции. Она зачитывает: «На питание хватает?». Человек отвечает «да» или «нет». Мы понимаем, что интервьюер здесь руководствуется лучшими побуждениями и старается таким образом увеличить точность замера. Любопытно, что такой вариант общения, вероятно, даст чуть более точные данные, потому что у человека есть время подумать над каждым вариантом.

Но даже здесь нельзя избежать такого эффекта интервьюера, который мы наблюдаем в конце диалога. Видите, в варианте про бытовую технику респондент отвечает: «Ну так…». Что делать дальше не очень понятно: нужно или продолжать список, или стоит закончить на текущем варианте. Интервьюер принимает решение закончить и оставляет вариант №4.

Но проблемы начинаются даже не здесь. В этой же анкете у этого же интервьюера проблемы начинаются, когда она сталкиваются с более объёмной карточкой:

Обратите внимание, в скобках указано время паузы между репликами. Видите паузу в 7 секунд? Очевидно, в этот момент интервьюер пытается понять, как вести себя с этим бесконечным списком и не застрять на одном вопросе на пару минут. Так идея о том, чтобы респондент выбирал сам из довольно широкого списка альтернатив, в общем, летит по известному адресу. Зачитывание такой карточки допустимо только в исключительных случаях. Например, когда у человека проблемы со зрением. Это займёт много времени, но лучше поступить так, чем заполнять карточку самостоятельно.

***

Я рассказал об этих кейсах, чтобы сделать понятной довольно простую мысль. За каждой буквой вопроса обычно стоит большая работа, и когда интервьюер бездумно адаптирует вопрос для коммуникативной ситуации, пусть даже с самыми благими намерениями, это может сильно повредить качеству данных.

Над каждой формулировкой, над каждым блоком вопросов мы в ФОМ обычно бьёмся по нескольку часов, и часто ведём довольно ожесточённые споры. И даже если формулировка порой получается объективно не самой удачной, скорее всего это случается потому, что мы вынуждены пойти на такой вариант.

Мы понимаем, что точное зачитывание формулировок вопросов – идеал практически недостижимый и иногда вообще неприемлемый в коммуникативной ситуации. Такие отклонения действительно могут сделать коммуникацию более живой и интересной участникам взаимодействия. Поэтому если уж мы отклоняемся от изначальной формулировки, то важно помнить следующее:

• Не надо менять модальность вопроса. Если это гипотетическая ситуация, то не надо превращать её в конкретную (кейс «Митинговать будете?»);
• Не следует нарушать принцип альтернативности вопросов. Это отклонение практически всегда ведёт к серьёзным смещениям и искажает измерение;
• Нельзя пропускать содержательные позиции (особенно актуально для карточек);
• Ни при каких обстоятельствах нельзя подсказывать респонденту возможность зайти на позицию незнания, потому что чаще всего именно этой позицией он и воспользуется.

Спасибо!

Дискуссия после выступления: https://youtu.be/705Wv5W7Qik?t=1195