«Модератор, его уши и другие части тела»

Когда какой-нибудь известный и опытный исследователь говорит «мы провели четыре фокус-группы и выяснили что в России меняются политические настроения», сразу появляется два лагеря людей с разным отношением к этим выводам. Первые восторженно эти выводы цитируют, а вторые – скептики и критики – утверждают, что результату, основанному на четырёх фокус-группах доверять нельзя, каким бы любопытным и правдоподобным он ни казался.

Мне представляется, что у качественного исследования могут быть свои критерии объективности, которые, наверное, выглядят как-то иначе, чем критерии объективности исследования количественного. Какие мы можем назвать критерии объективности количественного исследования?

Во-первых, критерий надёжности, который подразумевает, что результат реален, получен по определённым правилам выборки и так далее. Соответствие выводов этому критерию даёт читателю уверенность в том, что результат, который мы получили, настоящий, а не ситуативный. Чем мы можем заменить этот критерий в рамках качественного исследования, когда инструмент менее формализован, правила менее понятны, и в ряде случаев даже по одному и тому же гайду мы получаем разный результат? Его место может занять критерий прозрачности. Мы должны дать читателю достаточно информации, чтобы он самостоятельно мог оценить метод и сделать выводы о его возможных ограничениях. Мы должны рассказать обо всём: как и кого рекрутировали, какой подход был применён к модерированию, показать наш гайд. То есть, соответствовать всем стандартам раскрытия информации о качественном исследовании. Как часто мы такое встречаем и практикуем – вопрос.

Второй критерий объективности количественного исследования – генерализуемость, возможность перенести выводы на более широкую совокупность. Генерализация позволяет нам ответить на вопрос «и что?» И что с того, что тысяча человек думает вот так, ведь население страны гораздо больше? В качественном исследовании возникает сопоставимый критерий, который бы я назвала «значимость». Значимость – это то, как наше отдельное качественное исследование вписывается в более широкий контекст: можем ли мы выйти на теорию, можем ли мы сделать какие-то заключения, которые выходят за рамки описания частного случая. В приведённом в самом начале примере об исследователе, который сделал вывод о появлении в обществе новых настроений, можем ли мы говорить о том, что исследователь с помощью фокус-групп зафиксировал какую-то динамику? Как он зафиксировал эту динамику, пользовался ли он тем же самым гайдом, что и раньше? Или для фиксации изменений в настроениях ему потребовался новый гайд? Вопрос стоит в том, какие у нас есть эмпирические основания для того, чтобы делать определённые выводы.

Третий критерий объективности количественного исследования – валидность, то есть, измерили ли мы именно то, что хотели измерить. В рамках качественника это превращается в рефлексивность, то есть, открытость альтернативам, возможности показать исключения из нашего подхода и предложить альтернативную интерпретацию тем событиям, о которых делаем выводы.

Получается, что вроде бы всё размыто и много разных критериев, но, тем не менее, если попытаться систематизировать и сформулировать, то мы можем нащупать некоторые критерии объективности для качественного исследования, хотя к озвученным я призываю отнестись критически и предлагаю вместе подумать над развитием такого видения.

Ещё с советских времён отечественная социология страдает тем, что мы изучаем не общественное мнение, а распространение согласия с нашим мнением, и на фокус-группах это особенно заметно: мы приходим со своими идеями и начинаем там людей мурыжить. Но основная проблема не в этом. Основная проблема в том, что групповым методам предъявляют задачи, которые ими вообще не решаются.

Как обеспечить воспроизводимость? Ну извините, воспроизводимость на фокус-группе невозможна технически. Воспроизводимость возможна только с аутистами: на одной группе они сидели молча, так сказать, и на следующей сидят молча. В реальном обсуждении люди всегда будут высказывать разные мнения, если только модератор не будет сильно на них влиять. Задача вот таких методов – это искать не частоты, а, скажем так, неожиданные мысли. А проверять их распространённость – это уже количественным методом.

Для нас провести 200 структурированных интервью – ну это вообще повседневность, и такое исследование становится просто обычным количественником, в котором просто используются открытые вопросы. К такому формату, задействующему спонтанную речь людей я отношусь с большим интересом и уважением. Но не доверяю, когда информанты начинают в группе обсуждать то, что в реальной жизни не обсуждают. Фокус-группы и вообще все эти групповые методы пришли из, скажем так, военно-политического сектора, и, по моему мнению, там должны были и остаться. Потому что там обсуждались вещи, которые волновали всех.

Второй момент, который я уже с некоторыми из присутствующих обсуждаю без малого четверть века, касается работы модераторов. При анализе данных большинство из них избегает проведения нормального контент-анализа, практически никто не знает категорий ТАТа (тематический апперцептивный тест), и не использует его в работе. До тех пор, пока не будет упорядочено применение методов анализа и обработки данных, это всё очень далеко от научной деятельности. И, понятно, обсуждать, что нам сказали на четырёх группах – это хорошо для анекдотов, но это не может становиться предметом общественной дискуссии.

Поэтому каждый раз, когда я беру в руки какой-то отчёт модератора… Такие отчёты несопоставимы, а критерии, которые применяют к кодировке – не всегда понятны. Глядя на такой отчёт, я гораздо больше могу рассказать о модераторе, чем о предмете обсуждения. Модератор, его уши и другие части тела видны здесь очень сильно, а вот доверять, что касается предмета обсуждения, я бы не рискнул.

В каждой профессии есть определённые критерии, требования, которые позволяют получить результат. В профессии, которую мы обсуждаем сегодня есть функции модератора, и есть функции аналитика. Обычно это люди, находящиеся как бы на двух разных полюсах – и в этом, наверное, одна из самых больших сложностей, с которыми мы сталкиваемся и в нашей работе, и при подборе кадров. Чаще всего модератор – это человек, который должен обладать хорошими коммуникативными навыками, а аналитик – это человек, который должен обладать хорошими аналитическими навыками. Тот, кто хорошо общается, ему очень сложно бывает сфокусироваться, анализировать, интерпретировать. И наоборот, когда ты анализируешь, интерпретируешь – хочется тишины для того, чтобы спокойно прийти к неким выводам. Поэтому люди, которые успешны, которые добиваются чего-то в этой профессии – достаточно уникальны, ведь они должны обладать и теми, и другими навыками.

Давайте попробуем отделить зёрна от плевел... И задать себе вопрос: что это такое [качественные исследования] и зачем это нужно? Для чего они существуют и какие задачи они должны решать? Если мы поймём это, то не будет никаких претензий Дымшица, между прочим. (Миша, прости!) Потому что, как только качественники пытаются решать несвойственные для них задачи, то и получается фигня. Давайте просто остановимся на фокус-группах, зачем они нужны? Фокус-группа, и я имею в виду в первую очередь дискуссионную фокус-группу нужна для того, чтобы столкнуть в процессе группы участников, и получить как можно более широкий спектр мотиваций, аргументов, то есть, ответов на вопрос «почему». Всё. И это очень-очень простая задача. И если мы при помощи фокус-групп будем решать эту задачу, тогда ни вопросы объективности-субъективности не будут такими острыми, ни вопросы «модератор против исследователя» не будут такими острыми.

Результат нашей работы – это палитра мнений. Поэтому, в каком-то смысле, получается, что в качественниках эта так называемая объективность выступает как бы против исследовательской добросовестности. Есть ситуации, когда провести четыре фокус-группы абсолютно нормально, если ты понимаешь, какая задача стоит перед проектом, если у тебя есть программа, если твой гайд соответствует целям и задачам этой самой программы, и он выстроен логично и по структуре, и по смыслу. А это – самые азы профессии.

Основной и самый главный метод, по которому работает, наверное, подавляющее большинство исследователей-качественников – не что иное, как создание красивых историй. И более того, многие исследователи и многие клиенты считают, что это так и надо делать, что это основное предназначение качественных исследований – интересные и запоминающиеся истории о жизни потребителей. Такие истории помогают бизнесу генерировать нестандартные и прорывные идеи, и такая потребность у бизнеса действительно есть.

Только возникает вопрос: если генерировать красивые истории, то при чём здесь исследования? Это могут сделать писатели, это могут сделать журналисты, и, скорее всего, у них эти истории получатся даже более интересными.

Клиенты всегда хотят видеть чёткую, простую непротиворечивую историю, желательно не текстовую, а ещё как-то графически изображённую, чтобы проще было её переваривать. Поэтому исследователи очень так часто и поступают, берут какие-то факты из жизни респондентов, складывают их, наделяют их логической связью, исходя из собственного жизненного опыта и культурного багажа. А то, что не подходит под этот культурный багаж и собственный опыт – просто изымается. Если мы не понимаем и не обладаем достаточно информацией о причинах поведения респондентов, мы просто потом эту историю додумываем, используем креативное мышление, как говорили в одной из компаний, в которой я работал.

Следующая проблема, которая очень плотно связана с предыдущей – это проблема рационализации. Респонденты зачастую сами не могут объяснить, почему они выбирают то или иное действие, тот или иной бренд, почему им нравится та или иная реклама. Но очень редко вы можете услышать от респондентов: «Я не знаю, почему я так делаю». Модераторы, в принципе, все про эту особенность знают, но, тем не менее, постоянно берут эти красивые истории и вставляют их в отчёты.

Ещё один момент, о котором я хотел бы сказать – отсутствие системности в наших отчётах и в качественном анализе. Перед исследователями всегда стоит вопрос – как определить систему, которую они изучают, как определить frame of reference. Если мы, например, изучаем потребительское поведение в категории минеральной воды, то мы должны брать что? Только минеральную воду или воду вообще? Или воду, плюс безалкогольные напитки, или все напитки вместе взятые, в том числе и алкогольные. Определение frame of reference – это очень важный вопрос, от которого зависит точность результатов исследования.

Сергей [Шейхетов] сказал, что мы угадываем, чтó хочет видеть заказчик, и что заказчику нравятся непротиворечивые вещи. А давайте посмотрим с другой стороны: мы исследователи, мы учёные. И у нас 10 страниц, которые нужно заполнить текстом. Разве можем мы позволить себе, чтобы текст на выходе был некогерентным, непоследовательным в ситуации, когда когерентность этого текста и есть единственное, что указывает на его валидность, на его научную состоятельность?

Есть две теории истинности: когерентная и корреспондентная. В случае с количественными исследованиями у нас есть убеждение, что наши данные соотносятся как-то с реальностью, корреспондируют с ней. А здесь… если Красная шапочка пошла в лес, и в конце концов охотники убили волка, а Красную шапочку с бабушкой из его живота выпустили, значит состоялось наше исследование, наш нарратив валиден. А если у нас там случились какие-то сбои, и Красная шапочка каким-то образом осталась в животе волка, то текст непоследователен, и мы сами чувствуем себя немножко нехорошо. И стремимся эту последовательность-когерентность в тексте восстановить. Вот такой тезис. Не заказчика ради, а себя для. Для того, чтобы видеть себя исследователями.

Следующий момент – спонтанная категоризация совокупного нарратива информантов. Здесь все действительно зависит от профессионального бэкграунда аналитика. От того, какая теория загружена в его голову, от его способности к генерализации. Одно дело это будет Платон, который увидит в репликах участников фокус-группы лошадность, а другое дело – Антисфен, который ничего кроме конкретной лошади там не узрит.

Наконец, дискурс. Мы ведь иногда чувствуем, что информант говорит что-то лишь потому, что встал в позу, в которой так положено говорить. Это даже не рационализация. Это дискурс – за человека говорит его спонтанно возникшая в групповом взаимодействии роль. Но что потом мы с этим делаем? Мы спокойно цитируем эти реплики как есть, выдаем их за чистую монету, включаем их в нашу непротиворечивую картину, если они в нее хорошо вписываются. А ведь заказчику на основе наших отчетов решения принимать! Отделить истинное мнение информанта от нарратива, обусловленного ролевой позицией, от дискурса – тоже одна из важнейших задача аналитика. Но для этого он должен быть даже не контент-аналитиком (бухгалтером от социологии, подсчитывающим словоформы), а дискурс-аналитиком, приводящим к позиционному единству рассеянное множество высказываний.

Вопрос о объективности субъективного сам по себе несколько парадоксален, потому что некоторые считают, что наука – это вообще что-то такое про цифры. А всё, что не цифра – то как бы и не наука. И поэтому позиции качественников они в этом плане слабы. Ну поскольку последние годы я работаю в IT-сфере, то есть, с айтишниками, и с их точки зрения, если говорить языком математики, то с чем чаще всего сталкивается качественник? Он сталкивается с тем, что называется нестандартные и я бы сказал некорректно поставленные задачи. Судите сами, исходные данные полученные в интервью и наблюдениях противоречат друг другу, да. Одного решения в задачах интерпретации не существует, одно и то же действие может иметь разные смыслы для его субъектов. Прогноз на основе выводов вообще редко бывает надёжен и устойчив.

Любое интервью – ещё Леви-Стросс про это писал – это столкновение двух культур. Кроме того, что надо осознать к какой ты культуре относишься, с какой культурой имеешь дело, и ещё учитывать вот в этом собственно влиянии интервьюера – собственный стиль мышления. Какой он: абстрактно-конкретный или предметный, или какой-то ещё. Он тоже влияет на ход интервью, и отказаться от этой своей субъективности невозможно. Единственный способ – осознать её. Самому сделать это очень сложно, поэтому нужна работа в группе. По сути дела, только в группе ты можешь осознать в чём ты субъективен, когда работает команда, которая задаёт тебе вопросы: «А почему ты обратил внимание на это, а не на другое?»

Мы всегда работаем в группе, и командная работа помогает компенсировать и осознать неизбежную субьективность, всё ровно так как говорил Илья [Штейнберг]. Поэтому бывает так, что для тебя какая-то вещь в проекте очевидна, а твой коллега вдруг вообще об этом не говорит. Ты говоришь ему: «Как ты не слышишь, они [на группе] об этом же говорили?» А он не слышит, или слышит и понимает совсем не так.

Прежде всего я хотел бы сказать, что мы большую часть своей жизни занимаемся вполне прагматичными вещами, и очень практичными для бизнеса, поэтому у нас довольно жёсткие требования, если не к объективности, то к практичности того, что мы изучаем. Буквально пару слов прежде всего о том, что ну как бы мы чаще всего сталкиваемся с тем, что качественные исследования почему-то воспринимаются исключительно, как либо глубинные интервью, либо фокус-группы, как будто все они сводятся к разговору. Это все равно, что приходить к врачу и считать, что у врача есть только первоначальная беседа, но нет анализов, нет никаких приборов, которые позволяют дальше разобраться с человеком, как будто врачи принимают все решения только после разговора, даже не послушав ваше сердце.

Поэтому, мне кажется, самое главное вообще понимать, о чём можно говорить во время этнографического визита, глубинного интервью, фокус-групп. Есть темы, которые просто бессмысленно обсуждать в этих форматах. Если мы пытаемся понять, как человек покупает, спрашивать «как вы покупаете» бесполезно. Нужно идти и смотреть. Можно спрашивать как угодно: «как вы что-то едите?», «какие вы бренды знаете?», а можно прийти домой и посмотреть, что в шкафу у человека. И вместо получасового разговора разговор сведётся к одной фотографии холодильника. Есть куча вещей, которые не нужно выяснять в разговоре, поэтому, конечно, стремясь к какой-то правде, к правде потребительской, человеческой, очень важно использовать совершенно разные методы внутри качественных исследований и ни в коем случае не сводить их только к разговору и изучению мнения.