Евгений Полковников (НАРИ) о начале роботизации CATI
В то время как лаборатории гигантов Яндекса и Сбера соревнуются в презентации концепт-версий всевозможных «беспилотных» устройств и помощников (перетаскивающих мешки с деньгами, дезинфицирующих помещения, перевозящих пассажиров), на российском research-рынке появляются разработки, направленные на решение гораздо более сложной задачи. Научить робота самостоятельно осваивать мир предметов означает обеспечить себе доминирование на огромном количестве рынков. Создание технологии, понимающей человека и социальный мир – еще более глобальная задача. Какие сложности поджидают нас на этом пути, и какие уже есть готовые решения, мы обсудили с руководителем исследовательской и технологической группы «НАРИ» Евгением Полковниковым. В апреле НАРИ впервые в истории представила на конкурс CatiCUP-2021 наряду с живыми конкурсантами робота-интервьюера. А в мае на выставке Research Expo компания объявила о запуске веб-сервиса для проведения роботизированных опросов. Поле.ФОМ будет следить за развитием этого направления в отечественной опросной индустрии, а пока – разговор о первых шагах и перспективах.
– Если не секрет, за какого конкурсанта вы больше переживали: за живого (как сейчас стало модно говорить «белкового») интервьюера или за робота?
– Интересный вопрос! Наверное, все-таки за робота переживал больше, но скорее на этапе подготовки. А за его результат уже, наверное, меньше – я понимаю, что конкурировать с хорошими сильными операторами, да еще на достаточно большой анкете, роботу пока тяжеловато. Он объективно будет уступать в возможности чувствования респондента. Для нас это был эксперимент и возможность рассказать о том, что такая альтернатива вполне себе существует. Со своими плюсами и минусами, но она есть уже на рынке.
– Какие задачи и проекты в вашей компании вы отводите роботу, а какие доверяете только интервьюерам? Наметилось ли какое-то разделение задач?
– Компания создавалась изначально как исследовательский бизнес. Потом появился колл-центр, а потом и направление IT, связанное с речевыми разработками. В какой-то момент мы решили попробовать «ввинтить» наши ресёрчерские знания и накопленный колл-центром опыт в айтишные разработки. Создать такой вот симбиоз. Сейчас это отдельное направление внутри ресёрча. IT-отдел создал и совершенствует эту систему, а наше исследовательское агентство выводит ее в коммерческое использование на исследовательском рынке.
Сейчас для небольших анкет, начиная с 3-4 вопросов и вплоть до 10, 12 и даже 15, мы отдаем безусловный приоритет роботам. На таких проектах мы всегда стараемся предлагать нашим клиентам роботов. Почему? Потому что в этом случае разница в скорости и стоимости слишком большая. И, на наш взгляд, просто нецелесообразно использовать людей в каких-то коротких оповещениях, анкетах на 3-4 вопроса. На сложных проектах с 15-20-минутной анкетой, конечно, мы стараемся уже больше работать с людьми. Хотя есть клиенты, которые достаточно много работали сугубо с нашим роботом, и предпочитают его даже для сложных исследований. Они настолько к этому привыкли, что посылают мне иногда запросы и на 20-25 вопросов, и хотят, чтоб мы прозвонили именно роботом.
Сейчас и такое уже начинает встречаться. Потому что клиенты понимают, что даже если это будет ненамного дешевле, то всё равно это будет значительно быстрее. И при этом будет абсолютно коррелировать, биться с теми данными, которые они получили бы при обзвоне, проведенном операторами. Единственное, мы их, конечно, просим немного адаптировать анкету для такого проекта.
Еще я бы хотел рассказать о важном для нас шаге. Мы сейчас вышли на рынок с облачным сервисом, когда любой человек – ресёрчер, политик, бизнесмен, журналист или обыватель, кто угодно – может зайти на наш сайт, зарегистрироваться, завести себе личный кабинет и самостоятельно проводить любые опросы. При необходимости мы готовы оказать ему как техническую, так и методологическую поддержку. Но по большому счету это становится простым и доступным исследовательским инструментом. Буквально за 10-15-20 тысяч рублей можно будет провести приличный опрос по небольшим анкетам.
– У вас уже есть готовые решения, позволяющие осуществлять такую поддержку клиентов?
– Да-да. Всё готово. Есть онлайн-система, у которой есть сайт, личный кабинет, номер 8-800, по которому можно получить всю необходимую поддержку. Человек может сам завести анкету, запрограммировать. Это могут сделать и наши сотрудники, если ему тяжело. Алгоритм достаточно простой, но, наверное, простой всё-таки для людей, имеющих отношение к исследованиям. Условно говоря, для любого количественника-ресёрчера это будет совершенно простая задача, а человеку, далекому от этих моментов, возможно, сначала будет тяжеловато, но мы готовы помочь. Но главное, мы позиционируем это не как услугу, а именно как сервис, который должен работать полностью автономно. Теперь не обязательно обращаться к нам напрямую – если человек немножко освоится, он может сделать всё самостоятельно.
– Есть предположение о том, что увеличение периода обучения роботов и повышение эффективности довольно сильно связаны. Удалось ли вам в своей практике нащупать некую границу, когда дальнейшее обучение уже не так сильно влияет на эффективность, как могло бы?
– Мы достигли определенного потолка действующих технологий. Технологии того уровня, что у нас сейчас есть, – это практически потолок. У нас сейчас реализованы не только закрытые вопросы, но и возможности работы с открытыми вопросами и их расшифровки, классификации, автоматической обработки. Есть возможность предусмотреть ответвления в определенных вопросах. Например, мы звоним человеку, и он спрашивает: «А почему вы позвонили именно мне? Как вы нашли мой телефон?» – у нас внутри системы заложены реакции робота на эти вопросы. Человек, который заводит проект, сам решает, нужны ему эти дополнительные ветки в коммуникации или нет. Уровень распознавания достаточно высокий. Имея определенный опыт в этом, мы можем немного усложнять сценарий, адаптируя его под индивидуальные особенности проекта. Таким образом, чтобы интервью развивалось в правильном русле.
Для меня следующий этап, следующий рывок в технологиях, будет связан с тем, что робот будет понимать свободною речь и свободно общаться с человеком. То, что пытаются внедрить, например, в Siri или в «Алисе». Но в их основе просто другие технологии, другой принцип.
Например, когда мы работаем с исходящими звонками, такое пока очень сложно сделать: дорого или даже, может быть, пока просто нельзя. Потому что должен появиться, по сути, искусственный интеллект, чтобы робот мог вот так общаться. И это, конечно, будет следующий этап. Я не знаю, когда он произойдет. Завтра может произойти прорыв в квантовых компьютерах, процессы вычислений ускорятся в тысячу раз, и сразу появится возможность искусственного интеллекта в области исходящих обзвонов. Сейчас, очевидно, технологии развиваются очень быстро, но пока этого еще нет. Однако, когда это произойдет, рынок CATI, рынок «белковых» операторов, наверное, сильно упадет. Потому что это будет система, в которой будет реализована не только возможность понимания и ответов, в ней будет заложено понимание эмоций респондента. Будут заложены элементы речевой аналитики. По сути, система будет подстраиваться под человека, по каким-то алгоритмам, по типажам можно будет выбирать те, которые лучше подходят для достижения цели, для достижения результата. Основываясь на реакции человека, сможет подбирать оптимальный алгоритм общения – то, чего сегодня не сможет делать и среднестатистический живой оператор. Это перспектива, думаю, может быть, пяти-десяти лет.
Пока, я считаю, с точки зрения технологии мы сделали только… второй шаг. (Первый шаг – это появление тех многочисленных систем обзвона, которые просто звонят и что-то говорят людям, и способны реагировать только на самые простые ответы.) А третий шаг и следующий этап (как с точки зрения речевых технологий, так и адаптации к исследовательской специфике) – это уже будет искусственный интеллект и идеальный робот-оператор, который будет понимать эмоции человека.
Но прежде всего должна появиться возможность собрать это в единый продукт. Сейчас отдельно существует блок распознавания речи, отдельно речевая аналитика, отдельно блок перевода голоса в текст и т.д. А там это будет всё сшито в одном продукте. И главное, что над этим будет еще некоторая нейросеть, нейросистема, которая будет, по сути, по мышлению, таким идеальным оператором, который будет адаптироваться под запросы и особенности респондента и выстраивать с ним настоящий диалог. То есть у нее будет то, чего сейчас нет в роботе, – эмоциональный интеллект. Он сможет не только самостоятельно мыслить, но и понимать человека.
Сейчас же речевая аналитика активно применяется при анализе записей работы операторов колл-центра для выявления каких-то проблемных ситуаций. Например, случаев, где человек себя повел агрессивно или оператор не так себя повел. То есть это слежение за эмоциональными факторами. Но там это всё основывается на анализе определенных слов. Когда они начинают появляться, тогда система реагирует. А следующий этап, – и в общем, это уже не фантастика, – анализ, например, тембра голоса, того, как человек повышает или понижает голос, и есть ли за этим раздражительность. Чтобы в конечном итоге подстроить под это реакции оператора.
– Если говорить о распознавании. Правда ли, что роботы пока не могут распознавать пол респондента и возраст. И если да, то есть ли у вас какие-то решения?
– Собственно, возраст респондента не может распознавать и «белковый» оператор. А что касается автоматического распознавания пола, то это уже возможно, просто немного удорожает процесс опроса. Обычно мы задаем вопрос о семейном положении. И соответственно, если человек говорит «замужем», то это женщина, если женат, то мужчина. Возраст в любом случае все спрашивают. И единственное преимущество живого оператора здесь состоит в том, что он может понять, что его собеседник – действительно человек в том возрасте, который был назван. Но это, мне кажется, совсем отдельные случаи, когда человек начинает для прикола менять свой голос по телефону. В принципе, и различать возраст по тембру голоса – это вполне реализуемая задача, и в недалеком будущем роботы смогут определять хотя бы возрастной диапазон по голосу.
– Как ваши заказчики, которые приходят к вам впервые, реагируют на предложение использовать робота-оператора?
– Есть определенный тип заказчиков, который воспринимает наши технологии с недоверием. И у очень многих это недоверие проходит после первого пилота, эксперимента. У нас был один случай на политическом опросе. Давно, еще в 2016 году, в рамках предвыборной кампании в Госдуму мы общались с руководством одной из партий. Они попросили провести опрос по заданной анкете. Мы опросили, отдали результаты. И когда я к ним пришел, они посмотрели на меня удивленными глазами: «Вы что, – говорят, – узнали каким-то образом результаты нашего поквартирного опроса?». Потому что данные совпали полностью, разница была в десятых долях процента. Очень часто люди вначале относятся скептически и говорят: «Нет, мы не хотим никаких роботов, давайте всё-таки попробуем операторами». А потом, когда приходят первые результаты, понимают, что переплачивать и ждать нет никакого смысла.
Сейчас, правда, рынок начали портить спам-звонками. И, конечно, это тот фактор, который снижает некоторые показатели достижимости. Однако этот фактор общий, он действует на опросы CATI в целом.
– Каким образом тогда можно попробовать с этим бороться, может обеспечить некую уникальность или идентичность именно опросного робота, чтобы он чем-то отличался и немного по-другому распознавался?
– Да, одна из первых вещей, к которым мы пришли, это то, что, если мы звоним по какому-то региону, лучше, чтобы телефон был местный. Снимают трубки намного лучше, и намного выше все показатели. Потом всё-таки мы стремимся к тому, чтобы записывать голос живого оператора. Например, на конкурсе [CatiCUP-2021], был не синтезированный голос, а записанный голос живого человека. За счет этого тоже получается немного повысить показатели. Но, конечно, поскольку анкета длинная, часть людей понимает, что с ними говорит робот, а кто-то еще и шутит. Был забавный случай у нас на конкурсе (я слушал одну из анкет). Там был вопрос: «Какой у вас опыт общения с роботами?». И мужчина отвечает: «Ну, до вашего звонка опыта общения с роботами у меня не было». Так в общем забавно вышло.
– Да, вот интересно. На самом деле, многие люди спокойно пользуются голосовыми помощниками, тем же «О’кей Гугл», общаются с «Алисой», но при этом не готовы общаться с роботами в рамках опроса.
– Да, мне кажется, это категория людей, которые не хотят отвечать ни интервьюеру, ни роботизированному оператору. Просто у интервьюера иногда есть возможность как-то попросить дополнительно, на чувства надавить что ли. Но мне кажется, что принципиальной разницы нет. Если человек готов разговаривать по телефону, он будет одинаково говорить что с оператором, что с роботом.
– Анализировали ли вы, какие смещения могут возникать у роботизированных опросов, которые не возникают в обычных опросах?
– Такого вот вопиющего смещения мы не видели. Что касается самих результатов, в целом они достаточно близки к результатам классических CATI-опросов. А так, очень много зависит от региона (если мы говорим про тот же response rate), от проекта, от периода. Например, если звонить в период избирательной кампании, то, естественно, люди, уже уставшие от всего этого, больше сбрасывают.
Чаще всего наблюдаемые нами смещения связаны с недоработкой анкеты или сценария. Или когда, например, система слышит один ответ, а идентифицирует его как другой вариант (например, в случае с числительными 1 и 11), также если возникают какие-то случайные помехи, которые мешают системе расслышать. В нашей практике на более ранних этапах были ситуации, когда в исследовании получались совершенно невероятные цифры. Условно говоря, «партия "Яблоко" набирает 30%». А ошибка была именно в распознавании вариантов ответа. Это заставляло нас разбираться, переделывать. Сейчас система таких ошибок уже не делает.
– Внедрение роботизированной системы обязывает, следить за и идти в ногу с мировыми технологическими трендами. Какие ресурсы – свои личные, своей компании – вы закладываете для того, чтобы им соответствовать?
– У нас есть небольшой отдел RnD*, который занимается непосредственно такими околонаучными задачами, и следит за тем, какие тенденции и решения возникают на мировом рынке голосовых ботов, чат-ботов. К сожалению, мы не имеем возможности вкладывать в эти разработки совсем большие деньги. У нас нет спонсоров, нет какой-то огромной компании за нашей спиной. Поэтому наши теоретические научные разработки зависят от нашей практической коммерческой активности. Пошел, например, проект, связанный с чат-ботами – дается импульс развитию направления чат-ботов. Появилась необходимость внедрения каких-то определенных новинок в нашу речевую платформу – соответственно, наш RnD получает задачу идти именно в этом направлении. При этом сотрудники, конечно, ограничены в ресурсах, поэтому их задача – найти какие-то интересные идеи, решения, и посмотреть, как их можно адаптировать, переписать и встроить в наш продукт.
RnD или R&D – сокр. от англ. research and development (исследования и разработки). Аналог отечественной аббревиатуры НИОКР (научно-исследовательские и опытно-конструкторские работы).
Конечно, мировые гиганты вкладывают очень серьезные деньги в создание искусственного интеллекта, развитие речевых технологий. И тут мы можем только использовать их достижения. Кроме того, Россия не является всё-таки передовой страной в этой области. Да, у нас возникают определенные попытки, отдельные компании [пытаются делать пилотные проекты. – Ю.О.], но всё-таки центр научной мысли в этой сфере находится в США и Израиле. Именно там и создаётся научная база. Этими проблемами занимаются лингвисты и математики, которые создают необходимые алгоритмы, вводят инновации. А то, что делаем мы, – это уже переработка передовых идей и адаптация их под коммерческое использование.
Но это то, что касается базовых технологий. Я же хотел бы добавить здесь один принципиальный момент. Мы, в общем-то, не стремились создать какого-то робота и какую-то звонилку. Мы пошли по пути создания инструмента именно для проведения исследований. Ценность нашего продукта не только в том, что он что-то там распознает, может кому-то звонить, а в наличии большого числа дополнительных функций, учитывающих запросы именно социологии и исследовательского формата.
У нас реализован, например, функционал квот, когда при программировании вы сразу закладываете все те квоты, которые вам необходимы, и система звонит с учетом этих квот. У нас заложен функционал возможности отправки смс и сообщений WhatsApp человеку по итогам звонка. На рынке были попытки вводить CATI-to-web, а это такой вот digital CATI-to-web, получается, и он абсолютно полностью автоматизирован. Это уже может выступать альтернативой и квартирникам. Человека рекрутируют случайным образом, но при этом ему отправляется онлайн-ссылка, где он проходит анкету (и, как вариант, получает потом вознаграждение).
Значительная доля наших доработок системы была осуществлена именно для ресёрчерского функционала. Потому что сама по себе звонилка… ею сейчас никого не удивить.