Доказательный подход в образовании: критический анализ актуальных дискуссий

Введение

Движение в сторону доказательного подхода в области образования началось более 20 лет назад [11]. Его основой и главным ориентиром стала доказательная медицина, откуда и было заимствовано понятие доказательной практики (evidence-based practice), понимаемой как процесс принятия решений о медицинской помощи на основе имеющихся научных доказательств ее эффективности, клинической экспертизы специалиста и ценностей и предпочтений пациента с учетом факторов социального, культурного, организационного и пр. контекстов [1][1].

Многими авторами сам переход к доказательным практикам описывается как несомненный прогресс [21; 23; 24; 25; 26]. Доказательный подход и в клинических, и в социальных областях ассоциируется с инновациями. Авторы отмечают, насколько значительным событием является его внедрение в образование: применение практик, основанных на доказательствах, привлекает в сферу образования специалистов, инвесторов, предпринимателей, а также обеспечивает значительный рост ее государственного финансирования; ориентация на использование и тиражирование лучших практик повышает эффективность системы образования; преподаватели имеют возможность сопоставлять данные исследований с собственным опытом и выбирать для своей практики наиболее работающие подходы и пр. [24; 25; 26]. В целом ориентация на доказательный подход представляется не только как лучший, но и как единственно правильный выбор, позволяющий специалистам в области образования идти в ногу со временем.

Проблема, однако, в том, что четко понять, что же это такое - доказательный подход, довольно трудно. Согласно большинству авторов, он предполагает тесное сотрудничество науки и практики, и его спецификой является необходимость обращаться к данным научных исследований, к эмпирическим доказательствам эффективности программы или практики для принятия решений об их применении или распространении. Однако обращение к науке - это лишь самый общий принцип, который может применяться по-разному. Например, эмпирические данные какого типа, уровня, величины эффекта и т.п. можно считать доказательствами эффективности образовательной программы или практики? Необходимо ли требовать теоретические обоснования наблюдаемых эффектов, понимание их каузальных механизмов или доказательность может ограничиваться лишь констатацией причинной связи между переменными? Что делать в случае, если данные опыта противоречат статистическим исследованиям, и финансировать ли практику, показывающую в исследованиях противоречивые результаты? Масса вопросов возникает и в связи с самим процессом принятия решений в конкретных практических контекстах. Например, как должен специалист-практик работать с данными исследований, чтобы можно было считать, что он действительно практикует доказательный подход: как искать нужные исследования среди множества исследований, на каких именно публикациях фокусировать внимание и как соотносить результаты исследований с собственным опытом и опытом коллег, учитывая, что ни одно исследование не дает однозначного ответа на практические вопросы, к тому же ситуация, в которой приходится принимать решения специалисту-практику, всегда включает в себя множество переменных, одни из которых фигурируют в одних исследованиях, другие - в других? На наш взгляд, несмотря на, казалось бы, достигнутый консенсус о необходимости ориентироваться на доказательный подход в образовании, социальной сфере, менеджменте и пр., сама ссылка на него ни о чем не говорит, более того, можно сказать, что «доказательный подход» по сей день остается чем-то вроде «пустого знака», за значение которого идет своего рода идеологическая борьба.

Цель данной статьи - анализ актуальных дискуссий вокруг доказательного подхода в образовании, систематизация их основных тем. Мы полагаем, что содержательное наполнение терминов (доказательный подход, доказательные практики) - продолжающийся процесс, в котором можно наблюдать столкновение разных позиций. Как показывает наш анализ, дискуссии концентрируются, во-первых, вокруг ключевых вопросов доказательных исследований (research for evidence-based practice) и, во-вторых, вокруг проблемных моментов самого доказательного процесса принятия решений в практических сеттингах (evidence-based process).

Доказательные исследования

Иерархия методологий по «силе научности» или плюралистический взгляд на эмпирические
свидетельства и методы?

В большинстве руководств по доказательному подходу принята иерархия доказательств (evidence) и методологий, с помощью которых они были получены. Рандомизированные контролируемые исследования (РКИ) и систематические обзоры занимают верхние строчки рейтинга по «силе научности», далее следуют квазиэкспериментальные исследования без процедур рандомизации, а нижние строчки занимают качественные исследования, наблюдения, анализ случаев и т.п. [28; 29]. Любопытно, что первоначально в отчете о доказательных практиках Целевой группы Американской психологической ассоциации было представлено плюралистическое понимание доказательств, однако позже ассоциация изменила концепцию и стала поддерживать принцип иерархии доказательств и методологий. Размышляя над тем, что произошло применительно к практикам психологического консультирования и психотерапии, но что, по нашему мнению, вполне приложимо и к образовательным практикам, Н. Ловас (N. Lovasz) и Дж. Клегг (J. Clegg) отмечают, что концепция доказательства формировалась под влиянием социальных и политических факторов и не может рассматриваться в отрыве от них [19].

Ряд авторов возвращается к обсуждению возможностей и ограничений исследовательских методологий и говорит о значении различных дизайнов для доказательных исследований, не ориентируясь на принцип иерархии [20; 31; 32]. На наш взгляд, смысл дискуссии не ограничивается лишь вопросами методологического характера. От того, как понимаются обоснования и доказательства, во многом зависит конфигурация самих практик. Б. Латур в работах, посвященных «техно-науке» как одной из главных характеристик современного общества, показывает, что успехи науки, те великие достижения, которые происходят в мире, когда в нем начинают применяться научные технологии, возможны лишь при условии трансформации самого мира, организации его по образу и подобию научной лаборатории [3; 4]. Согласно Б. Латуру, успех подхода Пастера во Франции был возможен лишь при условии «пастеризации Франции»[2]. Иными словами, дело не в том, что применение научного метода ведет к потрясающим успехам в разных областях жизни (или, как пишет один из ярких и последовательных сторонников доказательного подхода в образовании Р. Славин (R. Slavin) [23], экстраординарные сдвиги в медицине, сельском хозяйстве и других областях есть результат принятия специалистами-практиками научных данных в качестве главного основания для своей практики), а в том, что сами практики перестраиваются в соответствии с «лабораторными предписаниями». Следуя за Б. Латуром, Г. Биеста (G. Biesta) [8] пишет, что научные знания и методы инкорпорируются, включаются в состав практик, трансформируют саму жизнь, формируя новые сети из людей, вещей, денег, организаций, карьер, интересов и т.п., и только при этом условии они становятся применимы - могут восприниматься в качестве основания для практики. Поддержка принципа иерархии научных методологий, как и принятие плюралистического взгляда на них будут способствовать формированию разных научно-практических комплексов, разных сетей «человеческих и не-человеческих агентов» (термин Б. Латура), разных систем взаимосвязей между ними, соответственно, задавая различные конфигурации практик. Мы не хотели бы здесь останавливаться на тех социальных и политических процессах, которые привели к установлению доминации принципа иерархии доказательств и методологий, поскольку это потребовало бы специального анализа. Но хотим еще раз подчеркнуть, что ориентация на этот принцип влечет за собой и подкрепляет «РКИ-зацию» практической сферы, т.е. ее организацию в соответствии с правилами построения экспериментов. И еще раз подчеркнем также, что несмотря на установившуюся доминацию принципа иерархии методологий, голоса в пользу плюрализма продолжают звучать, причем в своей аргументации его сторонники часто апеллируют к особенностям самих практик, сопротивляющихся форматированию их в соответствии с особенностями «строгих» исследований (алгоритмизации, формализации и т.п.).

В литературе достаточно подробно освещаются эпистемологические проблемы рандомизированных контролируемых исследований [17; 33]. Например, в исследованиях эффектов практик необходимо ясно определить само ядро вмешательства, те переменные, благодаря которым практика и может «работать». В случае социальных, в том числе образовательных, практик зачастую крайне трудно понять, когда мы имеем дело с факторами контекста, в котором осуществляется практика, а когда те, кто ее осуществляют, делают это недостаточно качественно, не контролируют ситуацию. Одна и та же обучающая практика может принимать различные формы от класса к классу или от учителя к учителю. Таким образом, есть множество факторов, которые могут быть источником не случайных ошибок. Рандомизация не позволяет полностью справиться с эффектом фоновых различий, и, более того, попытки контролировать его могут приводить к снижению внешней валидности исследования (известная «дилемма экспериментатора»). Ключевая слабость рандомизированных экспериментов, которая подчеркивается даже в клинических исследованиях, - нерепрезентативные выборки, если же попытки набрать репрезентативную выборку все же предпринимаются, ее репрезентативность все равно остается под вопросом в связи с невозможностью учесть все факторы, по которым должна быть проанализирована популяция. Вдобавок ко всему сказанному, в отличие от клинических исследований в области образования практически невозможен ни слепой метод, ни двойной слепой метод: крайне трудно вообразить себе ситуацию, когда участие в образовательной практике для кого-либо (как для самих участников, так и для наблюдателя) останется скрытым.

Мы отнюдь не хотим сказать, что рандомизированные контролируемые исследования - бесполезная или слабая затея. Безусловно, им принадлежит очень важная роль в исследовании причинно-следственных отношений между воздействием и его эффектами. И мы отдаем себе отчет в том, что эпистемологических проблем у других методологических дизайнов и методов, по крайней мере, не меньше. Как подчеркивает М. Хаммерсли (M. Hammersley) [17], нет «королевской дороги» к надежным научным доказательствам и, более того, любые полученные в исследованиях доказательства принципиально фаллибельны: результаты могут быть ошибочны, как бы тщательно ни проводилось исследование. Принцип иерархии методологий создает иллюзию, что благодаря методу можно получить надежные доказательства эффективности практики. Однако любые опубликованные результаты требуют «читателя» - взгляда тех, кто способен критически отнестись к этим результатам и принять решение об их использовании для осуществления той или иной практики. В конечном счете то, что будет считаться «хорошими доказательствами», зависит от специфики вопроса, задаваемого специалистом-практиком [9]. В целом можно сказать, что плюралистический, неиерархический взгляд на доказательства и методологии вполне соответствует и общим принципам научности, и принципу практической эффективности, определяющим доказательный подход. Однако, как мы подчеркнули выше, он ведет к формированию другого научно-практического комплекса, на наш взгляд, более согласующегося с разнообразием жизненного мира и принципами демократического общества.

Является ли теоретизация доказательством?

Как правило, в доказательном подходе под доказательствами понимаются результаты эмпирических исследований, показывающие, что практика эффективна. Согласно точке зрения, получившей доминацию, наибольшей силой обладают результаты рандомизированных контролируемых исследований и их метаанализ, однако многие авторы придерживаются более плюралистического взгляда и предлагают модели, объединяющие разные типы эмпирических доказательств, полученные в исследованиях различного дизайна, не ранжируя их по силе значимости, а соотнося их с разными практическими задачами. Например, Р. Апшур (R. Upshur) с соавторами [31] разработали «инклюзивную модель» доказательств в клинических практиках, в которой данные, традиционно считающиеся «слабыми» (анализ случаев, качественные исследования на малых выборках), оказываются наиболее важными для понимания смыслов практики ее участниками, их установок, систем верований и «эпистемологических рамок», характерных как для врача, клинического психолога, так и для пациента.

Как, однако, относиться к теоретическому и концептуальному знанию в качестве возможной опоры для обоснования практики? При чтении руководств по доказательному подходу может сложиться впечатление, что теоретическим представлениям о причинных механизмах «работы» практики не придается достаточного внимания. Например, авторы, занимающиеся клиническими практиками [27; 30], размещают представления о патогенезе расстройств в самом низу иерархии доказательств, наряду с клиническими наблюдениями. А сторонник доказательного подхода в образовании Р. Славин (R. Slavin) [23; 26] связывает научность именно с эмпирическим методом, по-видимому, воспринимая теории как не более чем спекуляции.

Однако в литературе можно встретить и другой взгляд. Т. Уард (T. Ward) с соавторами [32] высказывают критику в адрес чрезмерного акцентирования эмпирической стороны обоснования практик, следствием которого является недостаток теоретического и концептуального анализа. Для специалистов-практиков огромное значение имеет не только факт, что практика работает, но и почему и как она работает. Акцент на хорошем качестве данных о результативности практики имеет смысл только в случае выбора типа вмешательства, но мало что дает, когда необходимо понять и оценить психологические проблемы и на этой основе, например, разработать план консультативной работы. Каков причинный механизм изменения и как можно объяснить наблюдаемые эффекты - на наш взгляд, ответ на подобные вопросы является важнейшим шагом в решении задачи полноценного обоснования практики. Такие вопросы относятся к теоретическим, а потому требуют перехода к оперированию объектами более высокого уровня абстракции, чем собственно эмпирические данные.

Мы полагаем, что отношение к теоретическому знанию в контексте доказательного подхода будет зависеть от того, как понимать доказательство (evidence). Обычно его употребляют в значении эмпирического факта или свидетельства. Однако его можно понимать и более широко. Например, Р. Апшур (R. Upshur) с соавторами определяют доказательства как «наблюдение, факт или организованную совокупность, предлагаемую для поддержки или обоснования выводов и убеждений... доказательства предлагаются в процессе обдумывания, обычно для того, чтобы обосновать некоторые утверждения» [31, с. 92]. Р. Анджум (R. Anjum) с соавторами говорят о доказательствах в широком смысле, объединяя под ними концептуальный анализ и теоретическое обоснование [6]. Т. Уард (T. Ward) и соавторы предлагают употреблять термин «доказательство» в значении «информации» или «релевантных соображений» (relevant consideration) и показывают, что именно такое понимание доказательств дает специалисту-практику гораздо больше инструментов научного опосредования собственных решений и действий [32]. Мы могли бы добавить, что включение теоретических положений в концепцию доказательств и расширяет арсенал возможных аргументов, касающихся процесса и результатов «работы» практики, и делает эти аргументы более осмысленными в научном плане.

Доказательный процесс

Практика, основанная на доказательствах (evidence-based), или практика, подкрепленная
доказательствами (evidence-informed)?

Доказательный подход - это не только проведение исследований, на результатах которых должны основываться решения о применении и распространении тех или иных практик, но и определенный процесс практической работы, главным компонентом которого является обращение специалиста-практика к данным научных исследований.

В образовании доказательная практика определяется как продуктивное использование научных доказательств эффективности программ и практик в процессе образовательной деятельности. Результаты научных исследований рассматриваются как главный ресурс и направляющий ориентир для принятия профессиональных решений в области образования [12].

Как свидетельствуют исследования [12; 13; 22], учителя и преподаватели вузов, а также школьная и вузовская администрация в целом положительно относятся к доказательному подходу, готовы обращаться к научным публикациям для ответа на свои практические вопросы и периодически делают это. Вместе с тем в исследованиях подчеркивается, что у учителей порой недостает навыков, ресурсов или мотивации более основательно изучать научную литературу и использовать ее для обновления своей практики [10]. То же самое можно сказать и о руководителях школ, которые, несмотря на позитивное отношение к доказательным практикам, далеко не всегда мотивированы основывать свои решения на научных доказательствах.

Представленная в литературе дискуссия развертывается вокруг того, как именно в практических сеттингах, в ходе осуществления обучающей деятельности и в сфере политики образования в целом использовать данные научных исследований. Понятно, что на практике приходится действовать и принимать решения в условиях высокой неопределенности и учитывать множество факторов, так что исследования не могут ответить на все вопросы специалиста-практика. Сторонники доказательного подхода подчеркивают, что наряду с научными данными важнейшую роль в принятии решений играет экспертиза специалистов, действующих в конкретных ситуациях на основе своего опыта и опыта коллег. Однако как сочетать обращение к исследованиям и практический опыт, чему отдавать приоритет - на эти вопросы можно отвечать по-разному. Весьма распространенным является подход «сверху вниз» (top-down), когда специалистам-практикам предписываются правила организации их деятельности в соответствии с полученными в исследованиях данными, например, спускаются сверху «лучшие практики», которые им необходимо применять в своей работе, придерживаясь строгих правил регламентации, написания планов и отчетов, соблюдения процедур, измерения эффектов и т.п. «Требование, чтобы практика была основана на доказательствах (evidence-based), - пишет М. Хаммерсли (M. Hammersley), - оказалось влиятельным, по крайней мере отчасти, потому, что оно четко вписывается в программу менеджериализма, ставшую в последние годы столь влиятельной в образовании и других сферах» [17, с. 144].

Многие авторы подчеркивают, что при таком подходе выхолащивается смысл практической работы, и предлагают подход «снизу вверх» (bottom up), когда необходимость в обращении к данным научных исследований не спускается сверху, а возникает изнутри самого практического опыта. Вместо практики, основанной на доказательствах (evidence­based), предлагается модель практики, подкрепленной или поддержанной доказательствами (evidence-informed). Судя по имеющейся литературе [10; 14; 16], в области образования именно эта позиция сейчас становится приоритетной.

Проблема принятия и распространения научного знания или проблема координации и
сотрудничества науки и практики?

В большинстве источников трудности применения доказательного подхода в тех или иных практических областях представлены с точки зрения факторов, осложняющих обращение специалистов-практиков к научным данным. Например, трансфер знания из научной области в области практики ограничивают значительные разрывы между моментом времени, когда проводятся исследования, и моментом времени, когда их результаты доводятся до практиков, а также сложности, связанные с организацией обучения преподавателей новым методам и практикам работы. В исследовании, проведенном Дж. Беллами (J. Bellamy) c коллегами в 2006 году [7], было выделено четыре основных препятствия внедрения доказательных практик, которые остаются актуальными по сей день: 1) недостаток знаний специалистов о практиках, показавших эффективность в научных исследованиях; 2) несовпадения, когда специалисты-практики считают, что научные исследования им мало помогают, поскольку предлагаемые в них «рецепты» не подходят для применения в той разнообразной аудитории, с которой они работают; 3) подозрительность специалистов-практиков, полагающих, что доказательный подход призван в первую очередь сократить стоимость обучения или продвинуть «политически верный» образовательный подход вместо того, чтобы отвечать интересам учащихся; 4) недостаток ресурсов, и прежде всего времени, навыков и опыта в обращении с новой научной информацией.

Р. Славин (R. Slavin) [24] приводит три условия, позволяющие продуктивно внедрять доказательный подход в образовании. Во-первых, должен существовать широкий спектр научно обоснованных программ на всех уровнях и во всех разделах образования; эти программы должны быть адаптированы к использованию во всех странах и регионах. Небольшое количество существующих доказанных программ не сможет способствовать реформе. Во-вторых, полученные в ходе независимых исследований, внушающие доверие, понятные и практически применимые научные данные должны быть доступны для преподавателей, администрации и чиновников. В-третьих, государственные органы должны финансировать и поддерживать развитие доказательных практик в образовании.

В последние годы, однако, появились работы, в которых сама проблема ставится несколько иначе. Дело не только в том, как способствовать усвоению и распространению данных научных исследований среди практиков, но главным образом в том, как организовать процесс взаимного продуктивного сотрудничества научного сообщества с сообществами специалистов из практических сфер. Разрыв между наукой и практикой переосмысляется как сложная проблема, затрагивающая и использование, и производство научного знания. В качестве примера можно привести работу Э. Фарли-Риппл (E. Farley-Ripple) с соавторами [15], где предлагается концептуальная модель, в рамках которой использование исследований в школах предстает не просто как проблема принятия и распространения научного знания, но как многомерная проблема, требующая более глубокого понимания взаимоотношений между исследованиями, практикой и их координации. Мы полагаем, что именно решение задачи координации исследовательской и практической работы в различных условиях организации образования (в конкретных странах, регионах, профессиональных областях и др.), разработка моделей такой координации и их претворение в жизнь - зона ближайшего развития доказательного подхода в образовании.

Заключение

В статье мы кратко представили основные линии дискуссий о том, как понимать доказательный подход в образовании. На наш взгляд, дискуссии разворачиваются, во- первых, вокруг понимания того, что именно можно считать доказательствами (evidence). Несмотря на доминирующий принцип иерархии доказательств и методологий, в настоящее время высказываются веские аргументы в пользу плюралистического взгляда и разрабатываются модели, в которых доказательства выстроены в соответствии с решаемыми с их помощью практическими задачами.

Во-вторых, дискуссии касаются того, каким должен быть доказательный процесс реализации практики. По-видимому, в области образования подход, предписывающий правила организации практики, исходя из данных внешних систематических исследований (модель практики, основанной на доказательствах, evidence-based practice), уступает приоритет подходу, нацеливающему на интеграцию различных доказательств - как полученных во внешних исследованиях, так и приобретенных в результате опыта (модель практики, подкрепленной доказательствами, evidence-informed practice).

Важные сдвиги прослеживаются в осмыслении трудностей внедрения доказательного подхода в образовательные организации. Проблема присвоения и распространения научного знания среди специалистов-практиков переформулируется в более комплексную проблему сохраняющегося разрыва между наукой и практикой, для разрешения которой необходимо искать новые формы сотрудничества между академическим сообществом и сообществами специалистов-практиков.

Мы полагаем, что хотя исторически доказательный подход был связан с обращением к науке как к «орудию насильственного насаждения определенного порядка», сегодня все большее значение приобретают «мягкие» концепции доказательной практики, которые основаны на неиерархической модели доказательств, интегрирующей как эмпирические данные разного типа, так и теоретические объяснения, и в которых важнейшая роль отводится экспертизе специалиста-практика, обращающегося в своей работе и к результатам внешних исследований, и к доказательствам, получаемым изнутри практического опыта.