- Статьи
«Извините, я останусь с этим районом»
Тимур Османов о том, в каких случаях стандарты ФОМ допускают смену населенного пункта, попавшего в выборку
Идеально выстроенная выборка позволяет утверждать, что наше исследование репрезентирует мнение граждан всей страны. Однако, когда разработанная в кабинетах модель сталкивается с особенностями поля, со стороны Партнеров порой приходят просьбы о замене районов и населенных пунктов на более доступные. Руководитель группы Организации телефонных опросов и обеспечения выборок ФОМ Тимур Османов, рассказал о том, как принимаются решения о замене точек маршрута, уже отобранных для опроса.
Основная претензия к опросам, которую часто можно слышать от людей далёких от индустрии изучения общественного мнения, звучит примерно так: «Знаем мы эти ваши опросы! Полторы тысячи человек опросили, и считают, что знают что-то о всей России! Ни меня, ни друзей моих не опрашивали, все нарисовали, и рассказывают теперь». Но мы понимаем, что о мнении граждан в масштабах страны можно судить благодаря построению выборки. Ее репрезентативность мы обосновываем математической статистикой и законом больших чисел. Но чтобы эти законы работали, выборка должна быть вероятностной. То есть, каждый человек должен иметь вероятность попасть в выборку, и эту вероятность можно было бы посчитать.
Что значит «каждый человек должен иметь вероятность попасть в выборку»? Это значит, что заранее мы не выбрасываем каких-то людей из выборки, подразумевая, что не будем их опрашивать. Например, мы не можем сказать о том, что на Крайнем Севере опрашивать сложно, поэтому мы сразу возьмем их и выбросим при построении выборки. Мы не можем отказаться от опроса в отдаленных населенных пунктах, где живет мало людей. Мы не можем отказаться от опроса в регионах, где у нас нет надёжных Партнёров или хорошо проверенных и опытных интервьюеров. Не можем сказать, что это сложно или дорого. Только при таких условиях выборка остается вероятностной.
Дальше. Мы случайным образом должны отбирать жителей России, но тут простая случайная выборка не срабатывает, потому что у нас нет списка всех жителей России. Поэтому мы строим многоступенчатую, кластерную выборку. Сначала мы отбираем городские округа и муниципальные районы, в них мы отбираем городские районы или населенные пункты. В них мы уже можем отбирать избирательные участки, а следом — домохозяйства. Важно, чтобы на каждом этапе отбора выборка была вероятностная, мы нигде не отдаем предпочтение одной единице анализа взамен другой.
Тут внимательный читатель может упрекнуть нас в непоследовательности — мы утверждаем, что строим вероятностную выборку, но при этом респондента в домохозяйстве отбираем с учётом квот на пол, возраст и уровень образования. А как известно, квотная выборка не является вероятностной. Действительно, наша выборка является вероятностной до уровня домохозяйства. Введение квот на последнем этапе отбора уравновешивает ошибку неответов, которая возникает в том числе из-за однократного посещения домохозяйств интервьюером.
Также для уменьшения ошибки репрезентативности мы используем различные методики для построения выборки — стратификацию и контролируемый отбор. Мы формируем страты — группы районов или территорий, схожие по определенным характеристикам, и производим отбор внутри них, не нарушая принципов случайности. Например, один из параметров для стратификации — размер города. В одну страту могут входить столицы нескольких регионов, или сельские районы, расположенные на определённой территории. То есть, мы подразумеваем, что в одной страте живут более-менее схожие по определенным параметрам респонденты. В зависимости от исследования, мы учитываем транспортную доступность, характер хозяйственной деятельности, национальный состав и прочие характеристики. У нас есть описанный перечень этих параметров.
На всех этапах отбора мы используем генератор случайных чисел: на этапе отбора муниципальных районов, на этапе отбора населенных пунктов, на этапе отбора избирательных участков. Он даже используется при случайном маршрутном методе: стартовая точка маршрута тоже задается случайным образом. Таким образом мы получаем выборку, которая может репрезентировать все население России.
Ещё раз — случайный отбор точек опроса — необходимое условие, позволяющее говорить о репрезентативности выборки. Мы не отбираем точки опроса на своё усмотрение. За отбор у нас отвечает генератор случайных чисел.
Однако дальше начинаются казусы, о которых, как правило, умалчивают. Заключаются они в том, что выборка, которую мы спроектировали, на практике сталкивается с полем, после чего возникают просьбы о заменах: «Нет, у нас нет Партнера в удалённом регионе, давайте его на что-нибудь заменим». Или какой-то район приграничной области: «А вы знаете, что этот район — приграничный с Украиной, и сейчас туда нельзя въехать, только жители этого района могут въехать, там поблизости идут боевые действия». Или: «У нас тут закрытый город, атомное производство, въезд только по пропускам. Как мы туда въедем»? Или: «У нас село, куда раз в месяц летают вертолеты, как мы можем там проводить опрос»?
Если речь идёт об объективных причинах или форс-мажоре, то в первую очередь мы оцениваем насколько озвученные Партнёром причины препятствуют проведению опроса. К таким причинам относятся, к примеру, половодье, сильный снегопад, перекрытие трассы, невозможность доставить интервьюеров к месту проведения опроса. Когда коллеги пишут, что снегом замело дороги, мы просматриваем новости, и видим: да, действительно, вон как завалило, совсем нет дорог, интервьюеры не проедут! Мы анализируем какую именно территорию затронуло ЧП, и в каких районах проведение опроса всё же возможно.
В таких ситуациях наша задача — попытаться максимально сохранить исходную конфигурацию построенной выборки и делать замены лишь в крайнем случае. Вместо замен стараемся по мере сил и ресурсов решать саму проблему доступности. Как, например, в случае с Чукоткой. У нас некоторое время там нет Партнера. И мы вступаем в коммуникацию с нашими полевиками, обозначаем, что важно найти там Партнера или командировать туда кого-нибудь из московского офиса.
Аргументы типа «долго и дорого» не являются уважительными причинами. Если дорого, это нужно обсуждать с кураторами, искать компромисс. Часто бывает так, что Партнеры говорят: «Мы никак не можем добраться в этот населенный пункт, дайте нам другой». Мы смотрим расписание автобусов, электричек, и там все в порядке, мы пересылаем эту информацию Партнерам.
Иногда просьбы Партнёров выглядят для нас не вполне обоснованными. Особенно когда мы видим картину по всей стране и имеем возможность сравнивать. Почему в регионе центральной России нельзя проехать 50 км от областного центра, а в Сибири коллеги еженедельно ездят 300 километров, и отлично справляются со своей работой. Понимаю, что эти 300 километров и 50 километров воспринимаются по-разному совершенно. Триста километров в Сибири — это как на дачу съездить. Но по себестоимости и по усилиям — это всё-таки те же триста километров.
При необходимости замены мы придерживаемся жёстких принципов. Если мы понимаем, что причины действительно серьёзные, и для реализации поля необходимо заменять район, то, во-первых, пытаемся подбирать районы из той же страты, это обязательное условие, чтобы сохранить структуру выборки. Во-вторых, другой район подбирается, опять же случайным образом, но из похожих на первоначальный. То есть, похожих по удаленности, по доле сельского населения, по транспортной доступности и другим параметрам. Если выпал дальний район, мы стараемся заменить его на другой дальний. То есть, если условно, Партнер говорит: «У меня на краю области такой-то район, куда два часа нужно ехать», мы на замену ему не предложим район рядом с областным центром. Это будет район соседний с первым, либо на другом краю области где-то. И часто бывают ситуации, когда, увидев, предложенную нами замену, Партнер говорит: «Извините, я останусь с первым районом. Всё хорошо! Забудьте про мою просьбу о замене». Есть и ситуации, когда в принципе замены делать запрещено. Например, в опросе по финансовому поведению, где выборка согласовывается с заказчиком, и отклонения недопустимы. Либо замены в выборке вступают в конфликт с задачами исследования, например, задача МегаФОМа — сравнить субъекты РФ между собой. Поэтому мы не можем заменить Чукотку на другой регион.
В основном, все Партнеры уже подстроились под текущие проекты, поэтому просьбы о заменах сейчас приходят довольно редко — когда действительно какой-то форс-мажор происходит. Если это проект типа Пенты, где выборки уже были согласованы ранее, большинство коллег уже нашли интервьюеров в нужных точках, или наладили логистику туда, где еженедельно проходит опрос.
Поэтому, когда нам говорят «Вы знаете, тут район попал в выборку, у нас там нет интервьюера, но есть вот точно такой же райончик, и там интервьюер есть, давайте мы на него заменим, нам туда удобнее ездить», мы на такое не идем. Это методически некорректно, так не работают. Если ситуация реально безвыходная, мы готовы искать решение вместе. Но мы должны максимально соблюдать принципы случайного отбора, иначе опрошенные полторы тысячи человек не будут репрезентировать никого, кроме самих себя. А мы все-таки работаем для того, чтобы создавать обоснованное знание об обществе.