• Мнения

Дойдут ли до Ума?

Возможности и ограничения применения роботов в CATI-опросах

Федор и Алиса, София и Олег, Маруся и Артем – кто-то из них, наверняка, есть среди ваших знакомых. Но не людей, а роботов. Возможно, и дома у вас живет пылесос, который не только убирает пыль, но и умеет ворчать и бухтеть при этом, или вы ругались на «девушку из навигатора», не успевшую предупредить о повороте. А может быть даже успели познакомиться с очаровательной роботом-интервьюером Олесей – участницей конкурса CatiCUP-2021. Пора ли начинать думать об открытии необычной вакансии в своей компании и придумывать KPI для робота? Поле.ФОМ поинтересовался у экспертов.

Владимир Звоновский, д. социол. наук, Фонд социальных исследований

Индустрии роботизированных опросов еще нет

Что могут роботы. Я пока не вижу той плоскости, в которой интервьюер и робот находятся вместе. Сегодня возможны два локальных направления использования роботов:

  • Длительные опросы с неменяющейся анкетой и очень простыми, чаще всего дихотомическими вопросами. Например, «Переболели ли вы коронавирусом?». Такие опросы могут проводиться ежедневно в течение целого года. Это вариант очень близкий к тому, что делают сейчас банки.
  • Рекрут. Например, нужно набрать пенсионеров, проживающих в городах с населением от 50 до 500 тыс. человек. Тех, кто подошел по скринингу и готов ответить, переключаем уже на т.н. «белкового» оператора.

Есть еще одно направление, где результат уже достигнут. Опыт показывает, что возможно увеличить выборку на 10% за счет так называемых «возвратных звонков». Когда респонденты, не ответившие по какой-то причине на звонок, потом перезванивают. Во всех колл-центрах на этот случай стоит некоторая заглушка, а мы эту проблему решили по-другому. Есть робот, который таких респондентов «встречает», распознает, сегрегирует. Понятно, что 75% – это «не звоните мне больше!», но остальные 25% вполне готовы отвечать. Основная проблема сейчас – мы не знаем, в каком именно опросе мы данного респондента звали участвовать. Однако в принципе, если это опрос репрезентативный, нам эта информация не так важна. В любом случае это респонденты, готовые участвовать в опросах.

В этих ситуациях робот – хорошая замена живому человеку. Пока в других задачах он не в состоянии успешно конкурировать с носителями естественного интеллекта.

Мы начали наши эксперименты с роботизацией CATI-опросов ровно два года назад. Прогресс, конечно, есть, хоть и не бог весть какой. Но робот – штука обучаемая. Вот вы поставили дома «Алису» – учтите, вы предаете человечество! Вы произносите в ее присутствии тексты, которые потом лягут в основу ее сигнатур. Сегодня прежде всего нужно накапливать сигнатуры на возраст, как очень чувствительный для социологических опросов момент. Для этого нужен объем. Нужно определиться, как задавать вопрос про пол. В чем сила «Олеси»* – она набирает сигнатуры самых разных людей – она этим и хороша.

Олеся – робот-интервьюер, разработанный российской компанией НАРИ. Это первый робот, участвовавший в 2021 году в конкурсе телефонных интервьюеров CatiCUP.

Чего не могут роботы. Самые сложные для робота параметры, с точки зрения распознавания, это возраст (с этим нельзя справиться вообще никак), и пол (с ним мы более или менее разобрались). Да. Робот не может определять пол по голосу. Пока для него это нерешаемая задача. Приходится придумывать, как об этом можно спросить. При этом следует учитывать, что такой вопрос нельзя задавать в лоб – респондент чувствует себя сильно ущемленным. Я думаю, это связанно с российской спецификой – у нас не так много идентичностей. И в этих условиях проблематизировать, ставить под вопрос самую главную для респондента идентичность означает провоцировать неприятный конфликт в коммуникации.

Что вообще значит «роботизированый оператор признается, что он робот»? Это значит, что респондент готов терпеть, что робот его не понимает.

Роботы и смещения в выборке. У нас есть два противоречащих друг другу кейса. Первый говорит нам о том, что есть заметные смещения в сторону старших возрастов, второй – что такого смещения вообще нет! Возможно, в первом случае оно возникло, потому что у нас часть выборки была на стационарных номерах, а во втором мы от них отказались вовсе.  А других смещений нет! Просто нет. Ни по типу населенного пункта, ни по федеральным округам, ни по полу, нет никаких значимых смещений относительно данных Росстата.

Итого. По сути, индустрии роботизированных опросов еще нет. То, что сейчас собирается делать Сбербанк в случае с предвыборным опросом – это уровень «соломенных опросов» про которые писал Борис Докторов. Да, конечно, это опрос, но является ли он социологическим, я, честно говоря, не уверен. Это так же, как с физическими опытами: их, конечно, можно и в школе поставить, но серьезные эксперименты должны проводиться по определенным правилам в научных лабораториях.

Мы (опросная отрасль) не совсем обычные клиенты для компаний, разрабатывающих роботов. Это не та же самая ситуация, что в случае с «big data», где у разработчиков принципиально иной взгляд на данные, чем у социального исследователя. Но есть точки соприкосновения. Все равно робот – это интервьюер. Вот вы звоните в банк, там интервьюер сидит. Хороший, плохой, но это робот-интервьюер. В этом смысле определенная часть пути в достижении понимания между разработчиками и исследователями уже пройдена. Нам тоже нужно тоже задавать вопросы и распознавать ответы. Но этот этап – этап распознавания, а не понимания респондента – мы пройдем еще не скоро. Уж во всяком случае не в ближайшие 20 лет. Роботы, конечно, придут и, конечно, еще попортят нам жизнь, но не с этой стороны.

Андрей Корбут, канд. социол. наук, НИУ ВШЭ

Непонимание в роботизированном телефонном опросе

Понимание собеседника – ключевой элемент любого разговора, в том числе разговора между человеком и телефонным роботом. Понимание в разговоре должно как-то выражаться. Существуют два главных способа выражения понимания в разговоре: через прямые высказывания и через уместные действия. Пример первого способа – фраза «Я понял» (но обратите внимания, что часто эта фраза предполагает некоторое сомнение в том, действительно ли ее автор понял). Пример второго способа – предоставления релевантного ответа сразу (или вскоре) после вопроса либо приветствие в ответ на приветствие.

Но иногда понимание собеседниками друг друга не достигается, и тогда можно говорить о непонимании. Непонимание точно так же выражается двумя способами: через прямое высказывание (например, «Я не понял») или через совершение неуместных действий в разговоре (например, не предоставление ответа на вопрос). (Ко второму случаю можно также иногда отнести проявления затруднения: «Э-э-э…», «Ну…» и т.д.). Однако в отличие от понимания, непонимание является коммуникативным сбоем и должно быть исправлено, для чего нужно выяснить причину непонимания: оно вызвано тем, что собеседник что-то не расслышал, или тем, что он/она что-то услышал неправильно, или чем-то другим? В зависимости от приписываемой причины непонимания собеседники могут применять различные методы «починки» разговора, например, один из участников разговора может повторить свое высказывание, изменить его или посмеяться над возникшим непониманием. При этом непонимание может как осознаваться самим непонимающим, так и нет.

Коммуникация с телефонным роботом существенно отличается от коммуникации с человеком в первую очередь тем, какими возможностями для выражения своего непонимания обладают участники разговора. Робот, с одной стороны, гораздо чаще совершает неуместные действия в ответ на высказывания человека, поскольку современные технологии распознавания речи зачастую не позволяют полностью понять контекст конкретной реплики, чтобы выбрать адекватную реакцию на нее. С другой стороны, если робот будет говорить что-то вроде «Простите, но я не понял(а)» всякий раз, когда он не смог распознать высказывание человека, человек быстро потеряет интерес к разговору и будет очень низко оценивать коммуникативные способности робота, что будет приводить к прекращению общения.

В этом отношении, у робота, проводящего телефонный опрос, есть очень немного способов прямого выражения своего непонимания и фиксации чужого непонимания и одновременно очень много поводов для неуместных действий. Основная работа по выявлению и исправлению непонимания перекладывается на человека. Чтобы эта работа была более эффективной, необходимо указывать человеку, что он имеет дело с определенного типа собеседником и что, для преодоления непонимания, именно человек должен предпринимать соответствующие усилия. Иными словами, задачей телефонного робота должно быть не выявление и исправление непонимания в разговоре, а помощь человеку в выявлении и исправлении непонимания.

Роман Бумагин, канд. социол. наук, ФОМ

Позиционная семантика и возможность понимания

Когда робот обрабатывает входящие звонки, он встраивается в прагматику звонящего человека. И в этом он может быть полезным и продуктивным. Согласно реалистским микросоциологическим теориям конца XX века (теория фреймов, теория дискурса), прагматика задается ситуацией общения, а человек нужен «только чтобы рот раскрывать». Попадая в определенную ситуацию, он лишь воспроизводит всегда-уже-сказанное. Оппозиционный депутат, получив трибуну, всегда ругает правящую партию; гости на свадьбе поздравляют жениха и невесту; клиент банка хочет заблокировать банковскую карту*.

Даже если репертуар прагматических целей звонящего достаточно велик, в конце концов при правильном распознавании ситуации, всё закончится проговариванием всегда-уже-сказанного. И, конечно, поставить робота для выслушивания сотен тысяч и миллионов идентичных текстов в рамках систем массового обслуживания, которым требуется единообразный встречный речевой акт, – правильная идея. Лишь в небольшом проценте уникальных ситуаций понадобится переключение звонка на живого оператора.

В принципе, звонящий мог бы и просто молчать – все смыслы заданы самой ситуацией. Это хорошо иллюстрируется известным советским анекдотом:

Человек разбрасывает листовки на Красной площади. Его хватает КГБ, смотрит на листовки – а там чистый лист с обеих сторон.

– Что же ты пустые листы разбрасываешь?!!

– А что писать, и так всё понятно!

Кроме того, интенция звонящего сильна, она удерживает его в коммуникации.

Возникает соблазн от робота-выслушивателя-звонков перейти к роботу-интервьюеру. А почему нет? Казалось бы, тот же робот, тот же телефонный канал, тот же индивидуальный собеседник на другом конце провода. Но ситуация, когда звонящим является робот, когда инициатива в акте коммуникации исходит от него, радикально отличается. Говоря словами Шютца, здесь уже нет той биографической ситуации, которая привела человека к этому звонку, нет интенции вступать в коммуникацию, нет прагматики. Звонок вторгся в его повседневность, разрушил естественный ход событий.

Отмечу два принципиальных момента:

Первое. Зачем человеку вообще участвовать в том, о чем его просит бездушная железка и программа. Какой резон? А если даже согласился, то к чему пробиваться через неизбежные – в любом общении – коммуникационные препятствия. Отключаясь, ты не ведешь себя невежливо, поскольку вежливость распространяется только на людей, максимум на млекопитающих.

Второе – проблема понимания. Она возникает в том случае, если мы рассчитываем с помощью робота задавать не только закрытые, но и открытые вопросы. Один и тот же смысл можно выразить разными словами и, наоборот, одно и то же выражение может иметь разные смыслы. Лингвисты называют это формальным и семантическим языковым варьированием. К концу XX века исследователи языка пришли к выводу, что у слов нет постоянного значения. Значения меняются в зависимости от ситуации, в которой они звучат. Более того, основное значение сообщению придают не слова (которые научился вычленять робот), а ситуация взаимодействия, в которой это сообщение звучит.

И здесь возникает главный вопрос: «А что это за ситуация – опрос? Какие она задает рамочные значения для слов?». Ответ неутешителен. Опрос в этом плане отличается от большинства ситуаций: он омнивалентный, в его рамках можно говорить о чем угодно. Ситуация опросного общения не содержит ключа к интерпретации значения высказывания. И всё, что может здесь сделать робот – лишь зафиксировать высказывание респондента, не понимая его. Как же тогда узнать, получен ли ответ и был ли он релевантным вопросу? Единственный критерий релевантности ответа для робота – длина. Реплика относительно длинная, значит ответ получен. А говорил ли человек на заданную тему или просто декламировал стихи любимого поэта, машина понять не в состоянии.

***

Подхватив эстафету рассуждений наших экспертов, мы попробуем подытожить и эксплицировать их тезисы о возможностях и ограничениях применения роботизированных систем обзвона в индустрии опросов. Мы попытались разбить их на два списка, отнеся либо к возможностям и преимуществам, либо к ограничениям и недостаткам.

Возможности и преимущества

  • Низкая стоимость работы сочетается с высокой производительностью. Роботизированные системы хорошо зарекомендовали себя при необходимости задействовать огромные мощности в прогнозируемый период времени. Хорошо справляется с однообразными рутинными сценариями при высокой производительности (см., например, описание кейсов в статье Владимира Звоновского[1]).

[1] Звоновский В.Б., Григорьева  М.В. Практика проведения роботизированных репрезентатив­ных телефонных  опросов   // Мониторинг  общественного  мнения:  экономические  и социаль­ные перемены. 2020. №6. С.73-96.

  • Уже существует возможность испытать новый исследовательский инструмент без издержек, касающихся самостоятельной разработки и внедрения.
  • Робот – идеальный сотрудник: в строю в режиме 24/7, не болеет, не требует сил на рекрутинг, удержание, не подвержен профессиональному и эмоциональному выгоранию, легко переобучаем, контроль за таким сотрудником довольно прост, не подвержен «текучке кадров» – вложенные ресурсы в «обучение» не утекут конкурентам.
  • Отчуждаемость опыта. В процессе работы как интервьюер, так и робот накапливают опыт. В случае с «белковым» интервьюером этот опыт становится его достоянием, в случае с роботом, он в значительной мере отчуждаем и принадлежит исследователям (в том числе и сам по себе может стать продуктом компании).
  • Возможность использования робота для решения других задач в исследовательском бизнесе: контроль за работой операторов и решение проблемы «возвратных звонков».

Ограничения и недостатки

  • Дорогая разработка для одноразовых проектов. Пока задачи ограничены простыми опросами или рекрутингом.
  • Разработка робота может вестись как в формате имитации белкового интервьюера, так и в формате «персонажа». Хотя оба варианта обладают интересным арсеналом, их применение довольно сильно различается.  Поэтому возникает необходимость хорошо предтавлять слабые места и возможности каждого типа, а также объем ресурсов необходимых в каждом случае.
  • Робот несколько «прожорливее» в плане работы с базой контактов, но это возможно компенсировать, реализуя систему обработки возвратных звонков от респондентов.
  • Проблемы позиционирования данной технологии на рынке: мифы и страхи заказчиков. В научной же периодике пока еще слишком мало публикаций с методологическим и методическим разбором таких опросов.
  • Не достаточно исследован вопрос о возможном возникновении систематических смещений.
  • Необходимость создания уникального, с точки зрения идентичности, и узнаваемости робота для опросной индустрии. Однако пока сложно найти уникальный голосовой синтезатор речи, который бы отличался от других «звонилок».
  • Ограничения в анкете: должна быть короткой, минимальное использование переменных, сложно предусмотреть развитие вариантов диалога, а доработка сценария и обогащение алгоритма требует дополнительных ресурсов (особенно временных), сложность в создании словарей для алгоритма. Кроме того, не всегда богатое дерево диалога обеспечивает эффективность коммуникации (по аналогии с переключением на разных специалистов при звонке на горячую линию).
  • Если потребуется обучение робота для нового проекта, то необходимо задействовать большие ресурсы: среду обучения (массива информации) и время.
  • Технологический потолок: распознавание фонем, возможны проблемы в ситуации сильной региональной специфики. 
  • Значение ответа сильно зависит от контекста, который выстраивается не только посредством произнесения фраз (речевого действия). ИИ пока не способен распознавать переключение фреймов развития ситуации, которые меняют контекст, а, следовательно, и значение фразы.
  • У робота нет всего того спектра средств, которым может обладать профессиональный интервьюер. Он не способен замотивировать респондента к участию в опросе, наделить ситуацию общения смыслом. Кроме того, робот не может распознать ситуацию, в которой застал респондента, подстроить под нее ход интервью (подождать немного), исключить нерелевантные вопросы (см. описание кейса опроса «белковым» оператором респондента с ограниченными возможностями[2]), распознавать и кодировать информацию, полученную по ходу интервью, но поданную респондентом раньше заданного вопроса. 

[2] Ипатова А.А., Рогозин Д.М. Условия коммуникативного успеха в стандартизиро­ванном телефонном интервью // Социологический журнал. 2014. №1. С.21-53.

  • Распознать vs понимать. Робот пока не способен понимать респондента. Робот действует только в рамках речевого акта, а не разговора. Корректно ли говорить о том, что человек разговаривает с роботом? Его «чуткость», ограничивается чуткостью возможностей распознавания речи, а «вежливость» – произнесением «волшебных слов». 
  • Коммуникация с роботом чревата не только его неспособностью понимать, но она может усугубиться потенциальной невозможностью возникновения, естественной для человеческого общения, ситуации непонимания. Для человека в разговоре естественно запросить пояснение, уточнить что-то. Даже в строгих рамках скрипта «белковые интервьюеры» находят способы выявить такую ситуацию и ее разрешить. При этом маркирование ситуации как ситуации непонимания требует обоюдных усилий по ее конструированию: демонстрации непонимания, его транслирование, нахождение способов его демонстрации, распознавание, попытки устранения и т.д. (подробно эта проблематика разобрана в статье Андрея Корбута[3]).

[3] Корбут А.М. «Простите, я никак не могу понять»: способы реагирования на непонимание во взаимодействии человека и робота // Laboratorium: Журнал социальных исследований. 2018. Т.10. №3. С. 57-78.

  • В ситуации роботизированного опроса вся тяжесть коммуникации ложится на плечи респондента. Кроме того, опрос (а не просто работа с голосовым помощником) это ситуация, когда интенция респондента прилагать усилия по поддержке коммуникации ничем не (или непонятно чем) подкреплена. Возникает вопрос о мотивации и целях респондента в этой коммуникативной ситуации. Ремонт коммуникации, в случае поломки, возможен лишь тогда, когда осознается слом, в рефлексивной установке, а робот на это не способен. Например, отклонение от формализма (термин Дмитрия Рогозина) с целью ремонта коммуникации будет распознаваться роботом как поломка, не подлежащая ремонту, и приведет, скорее всего, к завершению интервью.
  • Особенности восприятия робота респондентами: такое взаимодействие не вписывается по умолчанию в принятые рамки отношений между людьми. Новые рамки пока еще только создаются. Например, респонденты зачастую не так лояльны к ошибкам робота, а робот может часто ошибаться даже в таких «простых» для людей моментах как определение пола и возраста собеседника. (Хотя стоит иметь ввиду и достаточно высокий уровень таких ошибок белковых интервьюеров).
  • Сохраняется множество регуляторных белых пятен в этических, правовых, экономических, процедурных, инфраструктурных, вопросах, вопросах безопасности и т.д.

Другие статьи на эту тему:

Юлия Османова. ФОМ

Поделитесь публикацией

© 2024 ФОМ