вторник, 18 августа 2015 г.

Фабрикации ответов респондентов при бумажных опросах: ну и что такого?




      В профессиональной среде социологов о фабрикациях ответов респондентов анкетерами при массовых опросах , т.н. «заполнение анкеты на коленке», когда анкетер сам отвечает на вопросы анкеты, говорят мало, неохотно,  а вне ее,  практически  никогда.  Этот факт  можно считать верным симптомом болезненной и неустранимой проблемы  в любой профессиональной деятельности. К примеру,  точно так же представители помогающих профессий предпочитают уклоняться от обсуждений  «синдрома профессионального выгорания», гос. служащие  уходят от дискуссий по поводу коррупции, военные принимают  «дедовщину» в армии по умолчанию и т.п. Только в особых случаях  сами носители этих практик поднимают эту тему в своем профессиональном цеху  и только, «когда в лесу кто-то сдох»,  делают такие обсуждения публичными.

     Поэтому интервью  Дмитрия Рогозина в «Троицком варианте» (  11 августа 2015 года. ТрВ № 185, c. 4-5, "Гамбургский счет"), на эту тему, как мне кажется,  выпадает из  этого стереотипа, давно сложившейся у нас  профессиональной этики. Впрочем, автору это не в первой, его  призывы к методической  рефлексии и работе над ошибками инструментов исследования можно назвать его визитной карточкой.  Спору нет, без рефлексии любая наука ущербна, в т.ч. и социология.    Проблема только в том, что мы никак не выработаем у себя культуру этой рефлексивности, где в центре стоят вопросы почему у нас, что-то получается или не получается, тем более предпочитаем скромно умалчивать о собственных « ошибках».

И я бы, коллеги, скорее всего промолчал, так как не знаю, что с этим можно поделать. Наверное, тоже бы пожал плечами, подумав, ну, да,  все так, я  еще не такие факты могу привести,  ну и что  такого….., если бы не один парадокс, о котором Дмитрий, почти вскользь упомянул. 
 

Это ситуация,  когда сфабрикованные интервьюерами и не сфабрикованные ими данные совпадают.

    Это штука сидит во мне занозой с середины 80-х, когда я  проводил «опросы общественного мнения» в городе Энгельсе. У меня была армия анкетеров, около 1200 чел., все коммунисты с предприятий и организаций города, прошедшие инструктажи, занятия, с мозгами прошитыми партийной дисциплиной, сознательностью и ответственностью + дополнительными материальными и моральными стимулами (отгулы, премии и проч.)  В те времена, при всей сервильности социологии отношение к достоверности информации «для служебного пользования» было самое серьезное.  Помниться был лозунг: «Кто владеет информацией, тот владеет ситуацией». Это были не просто слова. То, какие проверки добросовестности анкетеров мы устраивали, наверно, могли присниться только в кошмарном сне, нынешним полстерам. Причина проста, о технологии массовых опросов у нас представление были смутные, но как выявлять «туфту» и наказывать ее производителей, если нужно, самые определенные, проверенные многолетней практикой партийных и служебных проверок.

     Так вот, как мы ни заряжали анкетеров ответственностью, как мы их ни стращали, все равно меня дурили, часть бланков анкетеры-активисты заполняли  сами. Правда, не в таких масштабах (до 40 %), который указывает автор, но это сути не меняет.   Хотя формулировки вопросов были еще те, но это компенсировалось «перестроечной гласностью», «новым мышлением», который вгонял респондентов в классическую аномию, когда отвечать «как положено» уже не обязательно,  а как иначе, еще не понятно.  Посему, влияние интервьюера на респондента было трудно переоценить. Даже  легкая улыбка на его лице, могла изменить мнение на противоположное, а подчеркнуто нейтральная позиция воспринималась как скрытая угроза и приводила к отказам от ответа. Не редко анкетеры вопреки инструкции не выдерживали и вступали в ожесточенные споры с респондентами, особенно этим отличались учителя и агитаторы, которым было сложно отключить свои профессиональные навыки.    


    Именно тогда, в середине 80-х, я обратил внимание, что большой разницы между «туфтовыми анкетами» и добросовестно собранными не было, когда это касалось актуальных вопросов жизни граждан и были отклонения, когда смысл вопроса выходил за рамки обыденного опыта респондента. Например, по отношению  к кооперации, аренде, «свободам»  расхождений не было, а по отношению к церкви, бригадным формам организации труда, частной собственности  – были.

     Практически не было расхождений, если интервьюер работал с относительно гомогенной группой ( заводские ветераны труда, молодые учителя, «партийно-хозяйственный актив» с высшим образование  в возрасте от 30 и до 45 лет). Этому феномену я позже нашел  объяснение.  Это концепт «культурной модели консенсуса»  А.К. Ромни, В. Батчелдера и С. Веллера . Суть его в том, что в каждой культуре, по их мнению, существуют разделяемые представителями этой культуры взгляды на мир, которые устанавливают некий консенсус по различным вопросам «картины мира», примиряя между собой носителей индивидуального жизненного опыта.    Это напоминает «общий тезис взаимных перспектив» А. Шютца с его идеей взаимного сжатия «смысловых полей» в результате «взаимозаменяемости точек зрения» и «совпадением системы релевантности» индивидов для возможности взаимопонимания в процессе общения.  С. Этран, Д. Медин и Н. Росс утверждают, на основании своего исследования по построению «модели консенсуса», что это число равно 10. С их слов, 10 информантов достаточно, чтобы «достоверно установить консенсус». Сходные результаты были получены Гестом, Бунке и Джонсоном , которые для своего исследования по теме репродуктивного здоровья  в ходе анализа  60 интервью   разработали 36 кодов. Они  утверждают, что 34 кода из всех 36 были получены после первых 6 интервью, а 35-й код появился после 12 интервью.


    Я это дело проверял на выборке героиновых наркоманов одного пола, возраста и практики потребления.  Всего было 37 интервью, кодов дебюта потребления героина было 11.  8 из них были получены при первых 5-6 интервью, а остальные 3 кода после 20-го.

Это означает, что интервьюер после 10 интервью в гомогенной выборке может сам заполнить оставшиеся анкеты и его «туфта» будет отличаться от «правильных» анкет не более, чем в 2-х случаев из 10.   


 Остается вопрос, а как происходит «угадывание правильного ответа», когда выборка не гомогенна? 


     У меня пока две объяснительной модели:

   Первая связана с личностью интервьюера, который достаточно долго занимаясь этой деятельностью становиться экспертом по тенденциям общественного мнения. Он обладает навыком работы на том, что в литературе носит название «работа на тонких срезах», т.е. непроизвольное обращение эксперта к собственной обширной специфической  базе данных, которая формирует безошибочное первое впечатление.

    Вторая идея связана с представлением, что общественное мнение – это мнение «лидеров общественного мнения», так называемых «Знатоков», мнению которых доверяют. Это могут быть что-то типа блогеров-тысячников, мнение которых, как правило,  всегда самостоятельно и интересно,  вызывает доверие и желание присоединиться. Чаще всего это  люди из ближних или дальних  кругов общения в живых и виртуальных соц. сетях. Так вот, опытные интервьюеры умеют выходить на таких «Знатоков» и представлять презентацию их позиции по обсуждаемому вопросу, как мнение большинства.

     Один из таких «интервьюеров –знатоков»  до начала опроса по Крыму сказал мне, что «зуб дает», что если бы он сейчас бегал по маршруту, то поддержка была бы больше 80%, а может все 90». (оказалось 86%). 

     Тогда я, помниться,  подумал, что если так и получится, то будет хороший тест на достоверность для  ФОМа и ВЦИОМА и их субподрядчиков по все России, которых они задействуют в опросе.  А моим коллегам туго придется, т.к. гораздо легче считать, что  феномен единомыслия россиян по данному вопросу - результат фабрикации данных, чем объяснять, какая реальность  стоит за этой цифрой.   





     

  








 [РЕД21]Почему ссылка на Рождественскую, а не на первоисточник?