ФОМ всегда уделял большое внимание контролю качества собираемых опросных данных. Стабильно высокое качество данных – фундамент репутации компании. С запуском РПР эта работа была пересмотрена, как и все процессы в рамках поквартирных опросов. В конце 2018 года были сформулированы принципы нескольких стандартизированных видов контроля, прописаны четкие процедуры. А недавно Группа контроля и обеспечения качества Департамента сбора данных ФОМ завершила разработку методических рекомендаций, призванных сориентировать интервьюеров, показать на какие вещи контролеры обращают внимание при проведении аудиоконтроля, при прослушивании аудиофайлов. Мы публикуем этот документ в библиотеке Поле.ФОМ (ссылка ниже) и попросили руководителя группы Андрея Мастерова сказать несколько слов о том, как создавалась памятка для интервьюеров и чем она может быть полезна полевым сотрудникам наших Партнеров.
Андрей, расскажите об эволюции контроля в ФОМе, о том, чем сегодня контроль отличается от того, что было до РПР?
Работа по проверке поступающих от Партнеров данных – массивов и сопутствующих отчетов, – конечно же, велась всегда. С запуском РПР мы стали думать о жесткой стандартизации методов и процедур контроля. Во главу угла мы поставили простоту процедур, повторяемость и сопоставимость результатов (чтобы можно было отслеживать динамику качества) и возможность коротко и простыми словами описать правила.
Мы пригласили для выполнения этой работы двух опытных контролеров. Собственно, что значит «опытных»? В какой области у них опыт? В области проведения интервью. Мы решили, и, думаю, коллеги с нами согласятся, что контролер с опытом работы интервьюера лучше понимает, как проходят интервью и на какие проблемные точки следует обращать внимание. Опыт работы одного контролера в качестве интервьюера – более 15 лет, второго – более 8. Мы разработали для них методические материалы. Подготовили их для проведения аудиоконтроля.
Кроме того, для оперативного контроля при больших объемах выборки мы привлекаем опытных аудиоконтролеров из CATI-центра. CATI-контролеры также являются действующими – правда, телефонными – интервьюерами и тоже прошли подробный инструктаж, обучение и повышение квалификации.
Я могу предположить, что процесс обучения контролеров был нелинейным.
Разумеется. После того как контролеры соприкоснулись с реальными аудиоматериалами, у них начали накапливаться определенные вопросы, затруднения, предложения. И тогда была проведена серия встреч с аналитиками – сотрудниками ФОМ, которые систематически и наиболее тесно взаимодействуют с Заказчиками, знают, какие вещи наиболее важны для Заказчиков, на какие моменты те обращают наиболее пристальное внимание. На этих встречах контролеры двигались прямо по анкетам, проговаривали вызывающие затруднения места, и аналитики комментировали, транслировали требования Заказчика относительно того, как должен звучать тот или иной вопрос. Всё это разрабатывалось на материале двух сложных опросов – Пента (ФОМнибус) и Геовыборы. И эту информацию от наших аналитиков мы впоследствии включили в методические требования для контролеров. Здесь мы преследовали цель снизить количество ошибок со стороны контролеров. А в конечном итоге целью аудиоконтроля является снижение количества ошибок со стороны интервьюеров.
Речь идет об обучении контролеров внутри ФОМ, а как возникла идея подготовить материалы для самих интервьюеров?
Ну, если контролеры вооружены знанием о том, как правильно должен звучать тот или иной вопрос, тот или иной участок опросной коммуникации, то интервьюеры тем более должны это знать. Ведь в конечном итоге наша цель – чтобы правила соблюдались, чтобы пожелания Заказчиков выполнялись, а не чтобы мы находили нарушения. Показатели эффективности Группы контроля и обеспечения качества не зависят от количества найденных нарушений. Мы счастливы, если их уровень снижается, мы были бы еще больше счастливы вообще их не находить.
С первых дней, когда мы запустили систематический контроль, начали получать от Партнеров обратную связь и увидели, что есть запрос на то, чтобы эти правила, эти требования были опубликованы и донесены до интервьюеров в регионах. Чтобы дать коллегам представление о том, чтó будет считаться ошибкой, и за что будут применяться штрафные санкции.
Подготовленный вашей группой материал называется «Методическая шпаргалка. Часть 2. Аудиоконтроль». И это первый материал, который будет размещен в Библиотеке Поле.ФОМ. Здесь нет ошибки? Это действительно часть вторая? А где же тогда первая? Или это как у Джорджа Лукаса, который начал свою гексалогию «Звездных войн» сразу с четвертого эпизода?
Мы осознанно назвали это второй частью. Потому что мы убеждены в том, что начинать следует не с того, как нельзя, а с того, как надо. Но подготовить методические материалы, рассказывающие о том, как надо проводить интервью, – это фактически разработать целый учебный план. Это большая, комплексная и долгосрочная работа. Поэтому пока мы решили оперативно снабдить коллег информацией о том, как проводится оценка, в расчете на то, что их профессионализм, их опыт будет подсказывать, как надо. А тем временем наши коллеги внутри ФОМ разработают учебный план, который со временем займет свое законное место в библиотеке под названием «Методические материалы для интервьюеров. Часть 1. Техники проведения личного интервью» или что-то подобное.
И да. На то, чтобы начать сразу со второго эпизода, нас действительно отчасти вдохновил опыт создателя «Звездных войн». В 1977 году это было хорошее начинание. Надеемся, наше будет таким же.
Тогда краткое содержание второй части?
Мы постарались рассказать о методике заполнения анкеты и проведения интервью, описали часто встречающиеся ошибки и постарались дать советы по исключению таких ошибок. Впоследствии эта памятка будет дополняться новым кейсами, правилами и транслируемыми через наших аналитиков пожеланиями Заказчика. Таким образом, в будущем точность или, я бы даже сказал, «точечность», детальность требований будет возрастать, и вопросов у коллег, надеюсь, будет возникать меньше. А качество проводимых интервью будет расти.
Спасибо за такое вступительное слово! Надеюсь, эти материалы будут полезны для наших Партнеров, и в конечном итоге для всех нас.