Возможности и ограничения применения роботов в CATI-опросах
Федор и Алиса, София и Олег, Маруся и Артем – кто-то из них, наверняка, есть среди ваших знакомых. Но не людей, а роботов. Возможно, и дома у вас живет пылесос, который не только убирает пыль, но и умеет ворчать и бухтеть при этом, или вы ругались на «девушку из навигатора», не успевшую предупредить о повороте. А может быть даже успели познакомиться с очаровательной роботом-интервьюером Олесей – участницей конкурса CatiCUP-2021. Пора ли начинать думать об открытии необычной вакансии в своей компании и придумывать KPI для робота? Поле.ФОМ поинтересовался у экспертов.
Владимир Звоновский, д. социол. наук, Фонд социальных исследований
Индустрии роботизированных опросов еще нет
Что могут роботы. Я пока не вижу той плоскости, в которой интервьюер и робот находятся вместе. Сегодня возможны два локальных направления использования роботов:
Есть еще одно направление, где результат уже достигнут. Опыт показывает, что возможно увеличить выборку на 10% за счет так называемых «возвратных звонков». Когда респонденты, не ответившие по какой-то причине на звонок, потом перезванивают. Во всех колл-центрах на этот случай стоит некоторая заглушка, а мы эту проблему решили по-другому. Есть робот, который таких респондентов «встречает», распознает, сегрегирует. Понятно, что 75% – это «не звоните мне больше!», но остальные 25% вполне готовы отвечать. Основная проблема сейчас – мы не знаем, в каком именно опросе мы данного респондента звали участвовать. Однако в принципе, если это опрос репрезентативный, нам эта информация не так важна. В любом случае это респонденты, готовые участвовать в опросах.
В этих ситуациях робот – хорошая замена живому человеку. Пока в других задачах он не в состоянии успешно конкурировать с носителями естественного интеллекта.
Мы начали наши эксперименты с роботизацией CATI-опросов ровно два года назад. Прогресс, конечно, есть, хоть и не бог весть какой. Но робот – штука обучаемая. Вот вы поставили дома «Алису» – учтите, вы предаете человечество! Вы произносите в ее присутствии тексты, которые потом лягут в основу ее сигнатур. Сегодня прежде всего нужно накапливать сигнатуры на возраст, как очень чувствительный для социологических опросов момент. Для этого нужен объем. Нужно определиться, как задавать вопрос про пол. В чем сила «Олеси»* – она набирает сигнатуры самых разных людей – она этим и хороша.
Олеся – робот-интервьюер, разработанный российской компанией НАРИ. Это первый робот, участвовавший в 2021 году в конкурсе телефонных интервьюеров CatiCUP.
Чего не могут роботы. Самые сложные для робота параметры, с точки зрения распознавания, это возраст (с этим нельзя справиться вообще никак), и пол (с ним мы более или менее разобрались). Да. Робот не может определять пол по голосу. Пока для него это нерешаемая задача. Приходится придумывать, как об этом можно спросить. При этом следует учитывать, что такой вопрос нельзя задавать в лоб – респондент чувствует себя сильно ущемленным. Я думаю, это связанно с российской спецификой – у нас не так много идентичностей. И в этих условиях проблематизировать, ставить под вопрос самую главную для респондента идентичность означает провоцировать неприятный конфликт в коммуникации.
Что вообще значит «роботизированый оператор признается, что он робот»? Это значит, что респондент готов терпеть, что робот его не понимает.
Роботы и смещения в выборке. У нас есть два противоречащих друг другу кейса. Первый говорит нам о том, что есть заметные смещения в сторону старших возрастов, второй – что такого смещения вообще нет! Возможно, в первом случае оно возникло, потому что у нас часть выборки была на стационарных номерах, а во втором мы от них отказались вовсе. А других смещений нет! Просто нет. Ни по типу населенного пункта, ни по федеральным округам, ни по полу, нет никаких значимых смещений относительно данных Росстата.
Итого. По сути, индустрии роботизированных опросов еще нет. То, что сейчас собирается делать Сбербанк в случае с предвыборным опросом – это уровень «соломенных опросов» про которые писал Борис Докторов. Да, конечно, это опрос, но является ли он социологическим, я, честно говоря, не уверен. Это так же, как с физическими опытами: их, конечно, можно и в школе поставить, но серьезные эксперименты должны проводиться по определенным правилам в научных лабораториях.
Мы (опросная отрасль) не совсем обычные клиенты для компаний, разрабатывающих роботов. Это не та же самая ситуация, что в случае с «big data», где у разработчиков принципиально иной взгляд на данные, чем у социального исследователя. Но есть точки соприкосновения. Все равно робот – это интервьюер. Вот вы звоните в банк, там интервьюер сидит. Хороший, плохой, но это робот-интервьюер. В этом смысле определенная часть пути в достижении понимания между разработчиками и исследователями уже пройдена. Нам тоже нужно тоже задавать вопросы и распознавать ответы. Но этот этап – этап распознавания, а не понимания респондента – мы пройдем еще не скоро. Уж во всяком случае не в ближайшие 20 лет. Роботы, конечно, придут и, конечно, еще попортят нам жизнь, но не с этой стороны.
Андрей Корбут, канд. социол. наук, НИУ ВШЭ
Непонимание в роботизированном телефонном опросе
Понимание собеседника – ключевой элемент любого разговора, в том числе разговора между человеком и телефонным роботом. Понимание в разговоре должно как-то выражаться. Существуют два главных способа выражения понимания в разговоре: через прямые высказывания и через уместные действия. Пример первого способа – фраза «Я понял» (но обратите внимания, что часто эта фраза предполагает некоторое сомнение в том, действительно ли ее автор понял). Пример второго способа – предоставления релевантного ответа сразу (или вскоре) после вопроса либо приветствие в ответ на приветствие.
Но иногда понимание собеседниками друг друга не достигается, и тогда можно говорить о непонимании. Непонимание точно так же выражается двумя способами: через прямое высказывание (например, «Я не понял») или через совершение неуместных действий в разговоре (например, не предоставление ответа на вопрос). (Ко второму случаю можно также иногда отнести проявления затруднения: «Э-э-э…», «Ну…» и т.д.). Однако в отличие от понимания, непонимание является коммуникативным сбоем и должно быть исправлено, для чего нужно выяснить причину непонимания: оно вызвано тем, что собеседник что-то не расслышал, или тем, что он/она что-то услышал неправильно, или чем-то другим? В зависимости от приписываемой причины непонимания собеседники могут применять различные методы «починки» разговора, например, один из участников разговора может повторить свое высказывание, изменить его или посмеяться над возникшим непониманием. При этом непонимание может как осознаваться самим непонимающим, так и нет.
Коммуникация с телефонным роботом существенно отличается от коммуникации с человеком в первую очередь тем, какими возможностями для выражения своего непонимания обладают участники разговора. Робот, с одной стороны, гораздо чаще совершает неуместные действия в ответ на высказывания человека, поскольку современные технологии распознавания речи зачастую не позволяют полностью понять контекст конкретной реплики, чтобы выбрать адекватную реакцию на нее. С другой стороны, если робот будет говорить что-то вроде «Простите, но я не понял(а)» всякий раз, когда он не смог распознать высказывание человека, человек быстро потеряет интерес к разговору и будет очень низко оценивать коммуникативные способности робота, что будет приводить к прекращению общения.
В этом отношении, у робота, проводящего телефонный опрос, есть очень немного способов прямого выражения своего непонимания и фиксации чужого непонимания и одновременно очень много поводов для неуместных действий. Основная работа по выявлению и исправлению непонимания перекладывается на человека. Чтобы эта работа была более эффективной, необходимо указывать человеку, что он имеет дело с определенного типа собеседником и что, для преодоления непонимания, именно человек должен предпринимать соответствующие усилия. Иными словами, задачей телефонного робота должно быть не выявление и исправление непонимания в разговоре, а помощь человеку в выявлении и исправлении непонимания.
Роман Бумагин, канд. социол. наук, ФОМ
Позиционная семантика и возможность понимания
Когда робот обрабатывает входящие звонки, он встраивается в прагматику звонящего человека. И в этом он может быть полезным и продуктивным. Согласно реалистским микросоциологическим теориям конца XX века (теория фреймов, теория дискурса), прагматика задается ситуацией общения, а человек нужен «только чтобы рот раскрывать». Попадая в определенную ситуацию, он лишь воспроизводит всегда-уже-сказанное. Оппозиционный депутат, получив трибуну, всегда ругает правящую партию; гости на свадьбе поздравляют жениха и невесту; клиент банка хочет заблокировать банковскую карту*.
Даже если репертуар прагматических целей звонящего достаточно велик, в конце концов при правильном распознавании ситуации, всё закончится проговариванием всегда-уже-сказанного. И, конечно, поставить робота для выслушивания сотен тысяч и миллионов идентичных текстов в рамках систем массового обслуживания, которым требуется единообразный встречный речевой акт, – правильная идея. Лишь в небольшом проценте уникальных ситуаций понадобится переключение звонка на живого оператора.
В принципе, звонящий мог бы и просто молчать – все смыслы заданы самой ситуацией. Это хорошо иллюстрируется известным советским анекдотом:
Человек разбрасывает листовки на Красной площади. Его хватает КГБ, смотрит на листовки – а там чистый лист с обеих сторон.
– Что же ты пустые листы разбрасываешь?!!
– А что писать, и так всё понятно!
Кроме того, интенция звонящего сильна, она удерживает его в коммуникации.
Возникает соблазн от робота-выслушивателя-звонков перейти к роботу-интервьюеру. А почему нет? Казалось бы, тот же робот, тот же телефонный канал, тот же индивидуальный собеседник на другом конце провода. Но ситуация, когда звонящим является робот, когда инициатива в акте коммуникации исходит от него, радикально отличается. Говоря словами Шютца, здесь уже нет той биографической ситуации, которая привела человека к этому звонку, нет интенции вступать в коммуникацию, нет прагматики. Звонок вторгся в его повседневность, разрушил естественный ход событий.
Отмечу два принципиальных момента:
Первое. Зачем человеку вообще участвовать в том, о чем его просит бездушная железка и программа. Какой резон? А если даже согласился, то к чему пробиваться через неизбежные – в любом общении – коммуникационные препятствия. Отключаясь, ты не ведешь себя невежливо, поскольку вежливость распространяется только на людей, максимум на млекопитающих.
Второе – проблема понимания. Она возникает в том случае, если мы рассчитываем с помощью робота задавать не только закрытые, но и открытые вопросы. Один и тот же смысл можно выразить разными словами и, наоборот, одно и то же выражение может иметь разные смыслы. Лингвисты называют это формальным и семантическим языковым варьированием. К концу XX века исследователи языка пришли к выводу, что у слов нет постоянного значения. Значения меняются в зависимости от ситуации, в которой они звучат. Более того, основное значение сообщению придают не слова (которые научился вычленять робот), а ситуация взаимодействия, в которой это сообщение звучит.
И здесь возникает главный вопрос: «А что это за ситуация – опрос? Какие она задает рамочные значения для слов?». Ответ неутешителен. Опрос в этом плане отличается от большинства ситуаций: он омнивалентный, в его рамках можно говорить о чем угодно. Ситуация опросного общения не содержит ключа к интерпретации значения высказывания. И всё, что может здесь сделать робот – лишь зафиксировать высказывание респондента, не понимая его. Как же тогда узнать, получен ли ответ и был ли он релевантным вопросу? Единственный критерий релевантности ответа для робота – длина. Реплика относительно длинная, значит ответ получен. А говорил ли человек на заданную тему или просто декламировал стихи любимого поэта, машина понять не в состоянии.
***
Подхватив эстафету рассуждений наших экспертов, мы попробуем подытожить и эксплицировать их тезисы о возможностях и ограничениях применения роботизированных систем обзвона в индустрии опросов. Мы попытались разбить их на два списка, отнеся либо к возможностям и преимуществам, либо к ограничениям и недостаткам.
Возможности и преимущества
[1] Звоновский В.Б., Григорьева М.В. Практика проведения роботизированных репрезентативных телефонных опросов // Мониторинг общественного мнения: экономические и социальные перемены. 2020. №6. С.73-96.
Ограничения и недостатки
[2] Ипатова А.А., Рогозин Д.М. Условия коммуникативного успеха в стандартизированном телефонном интервью // Социологический журнал. 2014. №1. С.21-53.
[3] Корбут А.М. «Простите, я никак не могу понять»: способы реагирования на непонимание во взаимодействии человека и робота // Laboratorium: Журнал социальных исследований. 2018. Т.10. №3. С. 57-78.