В моей почте накопилось достаточно вопросов, где есть
просьбы дать совет как обеспечить достоверность и валидность качественного
исследования. Когда в 90-х гг. мы начинали регулярные полевые исследования
с применением качественного подхода, сама постановка вопроса об их валидности и
достоверности была неожиданной, т.к. эти понятия использовались в основном для
количественных исследований.
В широком смысле и
чаще всего, под валидностью понимают степень соответствии всего того, что исследователь делает, изучая
свой предмет, тому, что с этим предметом (явлением) происходит в
действительности. В количественных исследованиях это обозначает правильность
измерения (конструктная валидность) и внятность логических связок между
причинами и следствиями (внешняя и внутренняя валидность).
Тем, кто связал в своем вопросе валидность и достоверность,
возможно, будет интересно познакомиться со взглядами известных методологов
качественного подхода, например, Линкольна, Губы или Паттона, которые
трактовали валидность в качественных исследованиях именно как
достоверность. Правда, отождествить
полностью валидность и достоверность не получается из- за разных подходов
авторов к пониманию достоверности.
Например, к внутренней валидности еще как-то
можно отнести конвенциальную достоверность, как результат конвенции разных исследователей относительно соответствия выбранных ими методов
целям и задачам исследования или
общее согласие с операционализацией
основных понятий и с интерпретацией смысла полученных данных.
Другой подход обеспечения достоверности уже претендует на объективность, т.к. требует подтверждения результатов
исследования сведениями, полученными из разных источников, включая документы,
статистику или «свидетельства независимых экспертов». Особое место в вопросе о достоверности
качественных исследований занимает необходимость тщательного обоснования переноса моделей соц. механизмов и выводов на
более широкий социальный контекст.
Разберем вопрос о валидности и достоверности на примере,
который как-то прижился в нашей
«школе-студии полевого исследователя» .
Пример.
Перед исследовательской группой поставлена задача, изучить
случай жестокого обращения персонала детского дома с подопечными, понять
причины и дать, по возможности, прогноз
о вероятности распространения этого
негативного явления в других заведениях. Для исследователей эта тема новая,
только у одного из них был опыт участия в исследовании причин «дедовщины» в
армии. Срок исследования – 2 месяца. Группа выбирает качественный метод
исследования – интервью и наблюдение, т.к. знания предмета исследования и
продуктивных гипотез, годных для проверки в анкетном опросе практически нет.
Посмотрим на
исследовательский процесс с т.з обеспечения достоверности результатов и их
соответствия «реальности» как картину
развертывания симптомов «невалидности» и «недостоверности» качественного
исследования. Понимание того, что
считать невалидностью и недостоверностью в исследовании, должно помочь
пониманию того, что делает результаты исследования достоверными и валидными.
Симптом 1.
Первое, что может с
самого начала создать проблемы с валидностью и достоверностью – это отсутствие конвенции в
исследовательской группе относительно терминов и понятий, их операционализации,
теоретических рамок понимания социальных механизмов жестокости, факторов ее
возникновения, представлений об институциональном устройстве детского дома,
вопросов выборки и проч. Обычно, это проблема неумения или нежелания
заняться методической рефлексией своих представлений по теме исследования до
выхода в «поле».
Чтобы ни говорили сторонники идти в поле без гипотез, «с
чистого листа», невозможно представить полное отсутствие у них обыденных и
научных представлении об этом явлении. Особенно умиляет, когда они предъявляют
до выхода в поле гайд. Представьте себе список вопросов, за которыми не стоят никакие предположения об
изучаемом феномене. Откуда тогда в гайде вопросы о контроле работы персонала, о
материальном обеспечении заведения или о
контингенте воспитанников?
Это значит, что мы видим первый симптом развития «недостоверности». Получается, что не вникнув с суть
проблемы, исследователи кидаются в поле,
не имея достаточного научного и исследовательского багажа по данной
проблематике. Они не согласовали ключевые исследовательские вопросы и первичные гипотезы, не построили модели
выборки, чтобы избежать «ложного снежного кома». Они не отработали навыки ведения интервью,
наблюдения, фиксирования вопросов с учетом специфики объекта и т.п.
Чаще всего этот симптом проявляется
в затруднениях исследователя объяснить, зачем он задает эти вопросы, и
что будет делать с ответами, почему решил опросить именно этих респондентов, а
не других. Если бы время полевого
этапа было не ограничено парой недель,
то можно было бы использовать антропологический метод «вживания», т.е.
постепенное неторопливое знакомство с объектом исследования. Систематические наблюдения, многократные
интервью, случайные беседы, полевые
дневники помогли бы выстроить гипотезы, подобрать адекватные инструменты
исследования, задуматься над теорией, наметить выборку и проч.
Но т.к. для этого времени нет, то в результате мы видим, что
исследователь сочиняет вопросник как список похода в супермаркет «что бы еще не забыть спросить, вдруг
пригодится». Причем, каждый член группы , не смотря на наличие «общего гида»,
часто задает свои собственные вопросы, называя все это глубинным интервью. Выборка, в этом случае, это случайные «захваты» респондента по принципу «кого найдем – кто
согласился отвечать». В результате
высокий риск появления «ложных снежных
комьев» и «ложной насыщенности», когда в конце исследования выясняется, что
опросили не тех, кто нужен или упущены ключевые респонденты по данной
теме. Например, много интервью с
воспитанниками и администрацией, но отсутствует мнение членов опекунского
совета, следователя, проводившего расследование, представителей органов соц. защиты –
кураторов заведения и т.п.
Здесь мы видим сразу две проблемы , влияющих на
достоверность и валидность методического
подхода 1) условиям исследования и 2) уровню подготовки исследователя.
Первую проблему Паттон (Patton) называет проблемой методической строгости (rigorous methods). В нашем случае - это прозрачность логики использования методов исследования,
соблюдение правил применения и общих принципов выбранного метода в соответствии
с ресурсами времени, целями и задачами исследования.
А вторая проблема – это проблема наличия необходимого знания, навыков, умения,
опыта, продуктивности самого исследователя.
Паттон наличие такого «бэкграунда» точно обозначил как
«достоверность самого исследователя»
(credibility of the researcher). Это очень важно для понимания специфики
понятия достоверность в качественных исследованиях, т.к. дает ответ на вопрос,
на основании чего мы должны доверять субъективности исследователя;
Симптом 2
Предположим, что все трудности полевого этапа преодолены.
Исследователи опросили всех «игроков на этом поле» , согласно своей модели
(например, такой как наша «восьмиоконная
выборка»). Они опросили экспертов по насилию детей, администрацию дет.дома,
воспитателей, опекунов, самих воспитанников, представителей правопорядка и т.п. В результате стал понятен социальный
механизм, который привел к данному случаю. Основные факторы: слабый контроль
надзирающих органов за воспитательной работой персонала, нарушения в отборе
воспитателей, сокращение бюджета на содержание воспитанников, закрытость
заведения от общественности, отсутствие возможности для изоляции (перевода)
воспитанников с девиантным (отклоняющимся) поведением, вследствие
психосоматических нарушений.
Можно ли доверять этим результатам? Ответ
отрицательный. Т.к. согласно К. Попперу
теория не фальсифицирована . Нужны
доказательства, что именно эти факторы связаны с случаем жестокости. Как их добыть? Очевидно, нам придется
отправиться в детдом, где не было подобных случаев и убедиться, что там
отсутствуют выделенные нами факторы.
Если они не обнаружатся или будут проявляться в значительно меньшей
степени, то уровень конвенциальной достоверности к результатам значительно
возрастет. Кстати, Максвелл называл
такое установление взаимосвязи между используемыми понятиями «теоретической
валидностью».
Симтом 3.
Установление
устойчивой взаимосвязи между указанными факторами , обнаруженная в двух
случаях является важным шагом для обеспечения достоверности всего исследования,
но недостаточным для распространения на другие объекты. Мы можем считать, что у
нас появилась теория среднего уровня, но надо ее проверить другими методами. В
идеале это должна быть методическая триангуляция с применением количественно
–качественного подхода. Например, анализ статистики по уголовным делам по
сходным случаям, анализ тематический статей в СМИ и Интернете, изучение специальной литературы, экспертный
опрос. В общем, мы должны достигнуть
подтверждения своих результатов данными из других источников, т.е. «confirmability»
и возможности переноса данной объяснительной модели на другие объекты
(transferability) по Губе и Линкольну.
Симптом 4.
Предположим, что анализ вторичных данных и экспертное мнение
подтвердило наши выводы относительно данного случая, но одной из задач
исследования является прогноз на вероятность возникновения новых случаев в
различных регионах РФ. Дать такой
прогноз – это подвергнуть свою «теорию» наиболее жесткой проверки на
достоверность.
Для этого мы
отправляемся к чиновникам из министерства по
соц. политике, финансов и проч. центральных гос. учреждений курирующих
дет. дома и спрашиваем их не на предмет «случаев жестокости», а об изменениях в
планируемом бюджете, контроле, решением кадровых вопросов, т.е. по тем
факторам, которые мы выявили. Если узнаем, что по факту все останется на
прежнем уровне, то идем к экспертам, способным прокомментировать данную
ситуацию и дать свой прогноз на ее развитие.
Экспертами могут выступать не только гос.служащие, но и представители
НКО, журналисты, которые компетентны в данной теме.
Соединяя эти данные,
мы делаем прогноз, который может претендовать на достоверность
исследования. В случае, если прогноз
подтвердится, это можно считать важным свидетельством валидности
исследовательских процедур и достоверности полученных данных и выводов. В
случае, когда прогноз не подтвердился совсем
или частично, то следует пересмотреть свои подходы и имеющиеся модели.
1) Однако бывает так, что методически все выполнено
«строго» и «достоверность
исследователей» достаточна для решения
данных задач, но появились новые обстоятельства, новые факторы, которых не было
в период проведения исследования или на тот момент они были малозначимы. Это важно выяснить, не только для оценки продуктивности исследования, но и для того, чтобы, как писал Паттон, не утратить «philosophical belief in the value of
qualitative inquiry». Убежденность
исследователя в правильности методологических позиций качественного подхода в
исследованиях, его полное принятие
теоретических парадигм, на которых базируются эти методы, по мнению Паттона,
также является условием достоверности качественного исследования.
