- Статьи
Абонент не абонент
Поможет ли предлагаемое операторами связи таргетирование базы номеров компенсировать падающий response rate
В последнее время на рынке CATI набирает силу новый тренд. Операторы связи стали предлагать исследовательским компаниям и конечным заказчикам базы телефонных номеров, в которых респонденты уже отобраны по выбранному заказчиком критерию. Нужны люди, выезжавшие в последние два года в страны Шенгена или посетители сайтов бронирования отелей, или жители специфического географического района на стыке двух областей? Пожалуйста! На фоне неуклонно падающего (за исключением, пожалуй, первых двух месяцев пандемии) response rate многие коллеги возлагают на этот инструмент надежды как на способ повышения эффективности работы звонковых центров. Рассмотрим плюсы и минусы такого подхода и разберем пару кейсов.
Идея работы по «готовым базам» выглядит перспективной. Все больше компаний проводят исследования по сформированным выборкам на основе информации об абонентах, имеющихся у мобильных операторов. А операторы узнают о своих абонентах с каждым днем все больше. Они не только собирают все больше разнообразной информации, но и декларируют все больше возможностей ее обработки. Часто сами заказчики выставляют сроки, не реальные для классических приемов. Это тоже выступает мощным стимулом для использования таргетированных баз. Потенциал кажется огромным, но вот насколько его можно на данный момент применить на практике – большой вопрос.
Плюсы и минусы
Плюсы кажутся очевидными. Можно проводить проекты по узким или труднодоступным сегментам; в такой базе, по сравнению с привычной RDD-выборкой, меньше «пустых номеров» (в RDD в среднем – 50%), что позволяет существенно повысить результативность дозвонов (техническая достижимость), увеличить скорость работ, снизить себестоимость работ по проекту, проводить «тонкую настройку» технических процессов, уменьшить скорость выработки базы.
Минусы тоже легко спрогнозировать. Это и стоимость базы, и организационные и временные затраты на ее получение, и тот факт, что база для исследователей – «черный ящик». Нет конвенциональных способов проверки ее качества, сложно оценить возможные смещения (в т.ч. и связанные с «клиентской аудиторией определенного оператора»), очень ограниченная возможность влиять на ее характеристики, невозможность контролировать процесс ее создания, мобильный оператор исходя из своих внутренних интересов может сознательно влиять на попадание/исключение определенных категорий своих абонентов.
Реальные кейсы
Подтвердить или опровергнуть эти, пока еще гипотетические, плюсы и минусы можно лишь разбирая конкретные кейсы. Нужно отметить, что открытых данных пока очень мало, поэтому ограничимся разбором двух доступных для анализа проектов ФОМ.
Задача: опросить население, проживающее в районе нескольких крупных полигонов твердых бытовых отходов.
Планировался телефонный опрос в границах определенной и очерченной зоны проживания абонентов по базе, построенной путем таргетирования телефонных номеров.
Ход проекта: оператору мобильной связи был представлен запрос на выделение целевой группы – проживающих в заданном координатами (подробно описанными точками) районе. Таргетинг и формирование базы осуществлялся в соответствии с правилами – на стороне мобильного оператора.
Звонки осуществлялись также через сеть этого оператора, а номера были представлены «масками». Для осуществления самого технического процесса такого «прозвона» была проведена работа по настройке телефонии, занявшая несколько дней.
Было выбрано 6 кругов локализации выборки (с радиусом 7-10 км) и сформированы соответствующие им совокупности. Найденное по ним некоторое количество номеров представлены в таблице:
Из таблицы сразу стали очевидны просчеты. Например, довольно крупный Серпуховской район не представлен совсем, а самый крупный район Московской области – Балашиха – всего 42 номерами. Выборочные совокупности по Волоколамскому и Ногинскому, а также по Клинскому и Коломенскому получились подозрительно равными.
Результаты прозвона базы оказались неутешительными с точки зрения точности локализации выборки. Совокупность номеров, атрибутированная Клинскому району, оказалась почти полностью принадлежащей Волоколамскому. Респонденты Волоколамского и Ногинского, при проверке, оказались жителями Ступинского района, вообще не входившего в выборку и расположенного на юге МО. Респонденты Коломенского сегмента утверждали, что проживают в Клинском районе.
Стало понятно, что произошла ошибка на этапе соотнесения совокупностей и районов. Возможно, это произошло при выгрузке баз. Также, налицо, проблема с нахождением нужного количества номеров, для достаточной наполненности сегментов. Затраченные временные, организационные и другие ресурсы не окупились. Исследование было решено провести методом face-to-face.
Однако, понимая, что провал одной попытки не может быть основанием для прекращения работы в этом направлении была предпринята еще одна попытка. Она выявила сложности совсем другого рода.
Примечание: известно, что возможность таргетирования мобильных номеров по регионам в разных концах страны различается. Это нашло отражение и в данном кейсе – невозможности разделить диапазоны мобильной связи (DEF-коды*) Крыма и Севастополя.
Было сгенерировано 2 базы: классическая RDD по DEF-кодам и экспериментальная по данным таргетирования.
В данном случае, проблем с точностью локализации выборки не возникло (точность 86% к 19% в пользу экспериментальной базы). Было решено продолжать исследование с целью получения более полного представления о возможностях технологии таргетинга.
Главный возникший вопрос заключался в том, чтобы понять, как различается структура совокупностей опрошенных в итоге респондентов.
И вот здесь случились самые интересные «открытия». Во-первых, зафиксирована значимая разница по возрасту респондентов. По экспериментальной базе 70% опрошенных – люди молодого и среднего возраста, против 42% в RDD-выборке по DEF кодам, к тому же в ней очень слабо представлены люди старшего поколения. Кроме того, среди опрошенной молодежи в экспериментальной базе преобладали люди с высшим образованием.
Во-вторых, значимая разница была в том, как респонденты отвечают на одни те же вопросы. Особенно заметна она была в ответах молодежи. Из 46 вопросов анкеты, значимо (p<0,05), различались ответы по семи вопросам, в том числе ключевым (до 18 процентных пунктов). И, не сильно, но при маленькой выборке, возможно, значимо, еще по шести (0,1<p<0,05).
Таким образом, проведенный эксперимент (в данном случае экспериментальная база так и осталась в таком статусе) продемонстрировал методическую ненадежность. Поставлена под вопрос репрезентативность данных. Прозрачность и чистота исследовательских операций также может быть оспорена заказчиком, т.к. находится в довольно большой степени на стороне компаний мобильной связи.
* DEF – телефонный код, присвоенный по негеографическому признаку (в отличие от кодов ABC), например, по признаку оператора связи. Чаще всего употребляется для обозначения телефонных номеров сотовой связи.
Главный вывод, сделанный по результатам описанных кейсов прост. Получить репрезентативную выборку в обоих случаях не получилось. Затраченные ресурсы себя не оправдали.
Что наших в силах?
- Потенциал таргетинга по базам мобильных операторов, может быть использован для опроса узких сегментов и труднодоступных групп.
- Взаимодействие с мобильными операторами – главное направление в работы таких проектах. Во первую очередь это разработка четкого запроса и ТЗ. Второе – проведение встреч с представителями мобильных операторов, с целью объяснить основные требования к чистоте исследовательских данных и операций. Также, следует попытаться договориться, чтобы они держали в курсе своих манипуляций с данными. Немного подсветили свой черный ящик.
- Внутри индустрии следует продолжить обмен соображениями и идеями по выработке требований и стандартов сотрудничества «мобильный оператор – исследовательская компания».
- Раскрытие и обсуждение кейсов по оценке качества выборки, разработанной мобильными операторами.
На сегодняшний день, для мобильных операторов взаимодействие с опросными компаниями – не самый перспективный канал монетизации имеющихся у них данных. Дело в том, что работа по таргетингу, занимает дольно много времени, требует высоких компетенций сотрудников и почти не масштабируется. Конкретный проект остается для них кейсом, он не превращается в легко генерируемый и тиражируемый продукт.
Со стороны исследовательских компаний интерес может быть выше, однако и риски, связанные, главным образом, с непредсказуемостью результатов такого взаимодействия, сегодня довольно высоки. А сроки разработки и стоимость такой базы сопоставимы со стоимостью самого опроса.
Кроме того, операторы мобильной связи – далеко не единственный агент, обладающий базами данных подобного рода. Богатыми массивами обладают Мail.ru, Яндекс и др. Все больше наращивают мощности различные «экосистемы» больших корпораций и банков. Ресурсы big data становятся доступными исследователям через специальные сервисы (Яндекс.Взгляд, опросы ResearchMe) Это направление может быть перспективно не только с точки зрения получения данных для проведения опросов, но и в плане сравнения полученных результатов с данными по пользовательскому поведению, имеющимися у корпораций.
Многие компании делают шаги в этом направлении. Успешные и не очень. В целом же, индустрия пытается выйти на какой-то новый уровень — в плане используемых технологий и решений по удовлетворению изменяющихся запросов клиентов. Пытается адаптироваться к темпу, заданному пандемией. Изменяется поле, появляются все новые данные и новые возможности. Работа по оценке новых инструментов и качеству предлагаемых операторами связи данных будет продолжаться. Более взвешенная картина может получена на основе анализа большего количества кейсов.