Шкала оценки результата (ORS): предварительные результаты адаптации русскоязычной версии инструмента для получения обратной связи от клиентов в психологическом консультировании

В статье описаны результаты исследования в рамках адаптации русскоязычной версии шкалы оценки результата (ORS). Данный инструмент применяется в психологической практике для получения обратной связи от клиентов относительно изменений в различных областях жизни, что отражает основные показатели успешной психологической помощи. Инструмент представляет собой удобную в использовании в рамках консультации визуальную аналоговую шкалу. Представлены данные о надежности и валидности, полученные на российской выборке. Шкала демонстрирует достаточно высокую надежность (как внутреннюю согласованность, так и ретестовую надежность) и признаки конструктной валидности.

Введение

Использование методик обратной связи в процессе психологического консультирования, в которых клиент может дать обратную связь по поводу изменений в своей жизни и/или эффекта консультаций, позволяет решать многие задачи одновременно: такая форма взаимодействия между клиентом и психологом позволяет с самого начала выстраивать отношения, основанные на сотрудничестве; получение обратной связи помогает специалисту определить субъективные переживания клиентом эффективности консультаций и, в конечном счете, снизить риски преждевременного завершения консультирования и повысить его эффективность [Lambert, 2011]. До сих пор в русскоязычной психологической практике данные инструменты представлены не были. Нам кажется очень важной возможность включать в работу психологов подобные методики, созданные на стыке исследовательских и практических задач.

Шкала оценки результата (Outcome Rating Scale) [Miller, Duncan, 2000] представляет собой визуальную аналоговую шкалу, заполнение которой занимает минимальное количество времени и не требует серьезных усилий со стороны клиента. Шкала состоит из четырех линий длиной 10 см каждая, на которой клиенту предлагается поставить отметку, отражающую его мнение. С левой стороны находятся низкие значения, с правой — высокие. Сумма баллов по каждой из четырех шкал дает общий балл, выраженный в сантиметрах, от 0 до 40.

Шкала оценки результата предлагает оценить уровень собственного благополучия за последнюю неделю в следующих областях — индивидуальной (подразумевается наличие/отсутствие симптомов, затруднений), в личных отношениях (в семье или с близкими), социальной (на работе/учебе, с друзьями) и общий уровень благополучия. Важно объяснить клиенту, что отметки по шкале должны отражать средний уровень благополучия за последнюю неделю, а не состояние «здесь и сейчас» [Bargmann, Robinson, 2011]. Изменения по шкалам отражают основные показатели успешной психологической помощи. Инструмент был разработан в рамках модели общих факторов [Rosenzweig, 1936; Wampold, 2010], опирающейся на положение, что различные психологические подходы и психотерапевтические школы действуют не за счет теоретических и технических особенностей, а за счет набора некоторых факторов, не зависящих от теоретической ориентации и встречающихся во всех методах психологической помощи. Поэтому шкала не привязана к какому-то теоретическому направлению и может применяться психологами и психотерапевтами, опирающимися в своей работе на различные теоретические основания и использующими любые методы. Шкала заполняется в начале встречи с клиентом и рассчитана на людей старше 13 лет (для детей до 13 лет существует детский вариант шкалы — CORS). Шкала показала себя как надежный и валидный инструмент в исследованиях на американской клинической и неклинической выборке [Miller, 2003]. Исследования показали, что использование на психологических консультациях данной шкалы вместе со шкалой оценки встречи (Session Rating Scale, позволяет клиентам давать обратную связь по терапевтическому альянсу) в два раза снижает вероятность преждевременного завершения консультирования и в 3.5 раза увеличивает вероятность достижения достоверных изменений клиентами [Lambert, 2011]. Шкала также может быть использована в семейном психологическом консультировании и групповой работе. Так, различия в оценках членов семьи следует делать видимыми, так как они могут дать богатые возможности для обсуждения, что является проблемой, кто больше всего заинтересован в изменениях и что будет считаться улучшением. Более того, шкала становится важным инструментом в ситуации «недоб­ровольного» обращения клиента (когда клиент обращается за помощью по настоянию членов семьи, коллег, учителей и т. д.). В таком случае шкала позволяет визуально обозначить различия в оценках состояния клиента и обсудить, что будет заметным изменением для «направляющей» стороны и самого клиента [Miller, Duncan, 2000]. Важно отметить, что данная шкала в строгом смысле не является инструментом для оценки эффективности психологической помощи, хотя динамика показателей по шкале позволяет выявить субъективную оценку клиентом изменений в своей жизни. Существуют различные способы ее использования в практике. На наш взгляд, самым важным аспектом является не конкретный способ использования, а прежде всего понимание шкал обратной связи как «инструментов диалога» [Bargmann, Robinson, 2011], то есть способа опосредованно вести разговор с клиентом в рамках сотрудничающих отношений как с активным участником процесса, а не просто «получателем» помощи. Инструменты получения обратной связи делают процесс психологической помощи более открытым и прозрачным, позволяя клиентам влиять на ее процесс и принимать совместные с психологом решения (например, при отсутствии прогресса по шкале или при ухудшении изначальных оценок может быть полезным открыто обсудить возможности изменения подхода, частоты консультаций или перенаправления к другому специалисту). Такой подход противостоит медицинской модели психотерапии, где пациент находится в пассивной позиции принимающего «лечение».

Методы исследования

Данная шкала была переведена на русский язык с помощью профессиональных переводчиков, а также осуществлена проверка с использованием процедуры обратного перевода и последующим внесением исправлений.

Одним из дальнейших шагов по адаптации и валидизации данной методики для русскоязычной выборки стало тестирование людей, не обращающихся за психологической помощью. В исследовании приняли участие студенты 3-го курса Московского государственного психолого-педагогического университета (49 человек) и сотрудники центра социально-психологической адаптации и развития подростков «Перекресток» (23 человека). Всего в тестировании приняли участие 72 человека (12 мужчин и 60 женщин), средний возраст составил 23,5 года. Распределение значений данной выборки отличается от нормального. Между женщинами и мужчинами не было обнаружено статистически значимых различий по общим результатам шкалирования. Тестирование было проведено 4 раза с интервалом от 1 до 3 недель.

Также было предпринято выборочное тестирование людей, обратившихся за психологической помощью в центр социально-психологической адаптации и развития подростков «Перекресток». Это были взрослые и подростки, участвовавшие в семейных и/или индивидуальных психологических консультациях (n= 28), а также в регулярной психологической группе для родителей (n= 8). Всего в тестировании приняли участие 36 клиентов (12 мужчин и 24 женщины), средний возраст составил 29,9 лет. Тестирование проводилось раз в неделю или реже — иногда клиенты пропускали или переносили назначенные встречи.

Результаты

В таблице 1 приведены нормативные данные по испытуемым, не участвовавшим в психологических консультациях, и клиентам, обратившимся за психологической помощью. Данные приведены по первому заполнению шкал.

Таблица 1

Средние значения и стандартное отклонение по шкале ORS (первое тестирование)

Данные, полученные в исследованиях иностранных авторов, представлены в табл. 2. Первые два исследования касаются англоязычной версии шкалы [Miller, 2003; Bringhurst, 2006], а последнее [Hafkenscheid, 2010] — голландской. Данные по версиям шкалы на других языках на текущй момент отсутствуют. Интересно отметить, что результаты, полученные в зарубежных исследованиях, отличаются от полученных в нашем исследовании: средние значения для испытуемых, не принимавших участия в психологических консультациях, ниже, а средние показатели клиентов, получавших психологическую помощь, выше. Это может объясняться как социокультурными различиями, так и различиями в размере выборок и в гендерном соотношении испытуемых.

Таблица 2

Средние значения (M) и стандартные отклонения (s) по шкале ORS в зарубежных исследованиях (первое тестирование, n — число испытуемых)

Надежность шкалы

Мы оценили надежность шкалы ORS с точки зрения внутренней согласованности подшкал, используя коэффициент а Кронбаха. Для оценки внутренней согласованности шкалы использовались данные испытуемых, не обращавшихся за психологической помощью. Коэффициенты надежности по четырем проведенным тестированиям представлены в табл. 3.

Таблица 3

Внутренняя согласованность шкалы ORS — значения а Кронбаха

Данные значения демонстрируют достаточно высокую внутреннюю согласованность шкалы — для большинства психологических методик рекомендуются значения коэффициента выше 0.7 [Kline, 1999]. Авторы методики сообщали о коэффициентах а Кронбаха от 0.87 до 0.96 для 86 испытуемых, не принимавших участие в психологических консультациях [Miller, 2003]. В другом исследовании были также получены результаты для людей, не обращавшихся за психологической помощью — 0.91 для первого тестирования (n= 94), 0.93 для второго (n= 79) и 0.97 для третьего (n= 60) [Bringhurst, 2006].

В таблице 4 приведены значения ретестовой надежности, полученные в нашем исследовании, выраженные коэффициентом корреляции Пирсона. Для оценки ретестовой надежности использовались данные испытуемых, не обращавшихся за психологической помощью.

Таблица 4

Ретестовая надежность шкалы ORS — значения корреляции Пирсона

Несмотря на полученные высокие значения ретестовой надежности, следует отметить, что интерпретация этих данных затруднена тем, что данная методика была специально сконструирована для отслеживания изменений в ответах испытуемых. Учитывая, что мы оценивали ретес- товую надежность по данным, полученным от людей, не участвующих в психологических консультациях, можно предположить, что данная методика надежна и в аспекте устойчивости тест-ретест.

Авторы методики приводят следующие данные для англоязычной версии: 0.66 для корреляции между первым и вторым тестированием, 0.58 — между первым и третьими, 0.49 — между первым и четвертым тестированием [Miller, 2003].

Валидность шкалы

Поскольку нам неизвестно о существующих на данный момент валидизированных русскоязычных методиках, используемых для получения обратной связи от клиентов в процессе психологической помощи, мы не смогли проверить конструктную валидность этого инструмента классическим способом — проведя корреляционный анализ результатов шкалы ORS и уже валидизированного сходного инструмента.

Однако мы смогли оценить конструктную валидность за счет чувствительности шкалы к степени отмечаемого благополучия клиентами психолога и неклиентами, т. е. людьми, не обращавшимися за психологической помощью. Оценки по шкале у клиентов должны быть ниже, и это различие должно быть статистически значимым, так как предполагается, что люди, обратившиеся к психологу, будут субъективно испытывать больший уровень дистресса, то есть меньший уровень благополучия. Как видно из табл. 1, это подтверждается в нашем исследовании — средние значения у клиентов, обратившихся за психологической помощью, ниже — различия статистически значимы приp< 0.05 (использовался критерий Манна-Уитни). Различия сохраняют статистическую значимость даже в том случае, если из статистического анализа убрать данные по клиентам, участвовавшим в психологической группе (n= 8).

Другим способом подтверждения валидности, который используют авторы методики [Miller, 2003], является сравнение значений по шкале в исходном (первом) тестировании и в последующих. Подтверждением валидности будет ситуация, в которой общий балл по шкале будет значимо увеличиваться у клиентов, участвующих в психологических консультациях, а у людей, не обращавшихся за психологической помощью, будет колебаться незначительно. Данные по первому и третьему тестированию представлены в табл. 5. Мы не стали использовать последующие тестирования для сравнения из-за слишком малого числа испытуемых.

Таблица 5

Средние значения по шкале ORS по 1-му и 3-му тестированию у клиентов и обычных испытуемых

Как видно из табл. 5, у клиентов изменения более выражены количественно, однако различия между 1-м и 3-м тестированием не достигают статистической значимости ни в группе обычных испытуемых, ни в группе клиентов.

Выводы

Проведенное исследование позволяет сделать предварительные выводы о надежности и валидности русскоязычной версии шкалы оценки результата (ORS), предназначенной для получения обратной связи об изменениях в уровне благополучия от клиентов в рамках психологического консультирования и психотерапии.

В нашем исследовании полученные средние значения по группам испытуемых отличались от представленных авторами оригинальной методики — средние значения для испытуемых, не принимавших участия в психологических консультациях, оказались ниже, а средние показатели клиентов, получавших психологическую помощь, выше. Так как в нашем исследовании часть клиентов — подростки, последний факт согласуется с данными зарубежных авторов, что подростки обычно дают более высокие оценки по шкале в начале консультирования [Bargmann, Robinson, 2011].

Полученные результаты говорят о достаточной надежности русскоязычной версии шкалы как в аспекте внутренней согласованности, так и в аспекте ретестовой надежности.

Создатели методики проверяли валидность оригинальной версии инструмента тремя способами: через корреляцию с уже существующим валидным инструментом, выполняющим те же задачи; через различия в значениях по шкале в выборке клиентов, участвовавших в психологических консультациях от значений в выборке людей, не участвовавших в психологических консультациях и, наконец, через чувствительность шкалы к изменениям оценок испытуемых-клиентов при одновременном отсутствии значимых изменений у обычных испытуемых. В нашем исследовании нам удалось подтвердить валидность русскоязычной версии шкалы только одним из перечисленных способов: различия в оценках испытуемых клиентов и оценках обычных испытуемых были статистически значимы. Для проверки валидности необходимы дальнейшие исследования с большим числом испытуемых, которые являются клиентами в рамках психологических консультаций.

Важное свойство шкалы — ее краткость и простота, заполнение занимает минимальное количество времени и не требует серьезных усилий со стороны клиента. Данный инструмент, особенно в сочетании со шкалой оценки встречи (SRS, русскоязычная версия также находится в процессе адаптации), открывает новые возможности для практикующих специалистов и позволяет клиентам в большей степени занимать активную и вовлеченную позицию в рамках психологического консультирования. Полную версию шкал на русском языке можно скачать бесплатно в интернете на сайте http://centerforclinicalexcellence.com после регистрации, в разделе Performance measures. Методика приведена с разрешения одного из авторов.

1. Lambert M.J., Shimokawa K. Collecting client feedback // Psychotherapy. 2011.  № 48. P. 72–79.
2. Miller S.D., Duncan B.L. The Outcome and Session Rating Scales. Administration and scoring manual. Institute of the study of therapeutic change. Chicago, IL, 2000.
3. Bargmann S., Robinson B. The ICCE Manuals on Feedback-Informed Treatment (FIT). Manual 2: Feedback-Informed Clinical Work: The Basics. International Center for Clinical Excellence, 2011.
4. Rosenzweig S. Some implicit common factors in diverse methods of psychotherapy. // American Journal of Orthopsychiatry. 1936. №6.P.  412–415.
5. Wampold B.E. The research evidence for common factors models: a historically situated perspective. // The Heart and Soul of Change, Second Edition: delivering what works in therapy // Edited by Duncan B.L., Miller S.D., Wampold B.E., Hubble M.A., Washington, DC: American Psychological Association. 2010. P. 49–82.
6. Miller S.D., Duncan, B.L., Brown J., Sparks J., Claud D. The Outcome Rating Scale: A preliminary study of the reliability, validity, and feasibility of a brief visual analogue measure. // Journal of  Brief Therapy. 2003. № 2. P. 91–100.
7. Bringhurst D.L., Watson C.W., Miller S.D., Duncan B.L. The reliability and validity of the Outcome Rating Scale: A replication study of a brief clinical measure. // Journal of  Brief  Therapy. 2006. № 5. P. 23–30.
8. Hafkenscheid  A., Duncan B.L., Miller S.D. The Outcome and Session Rating Scales: A cross cul­tural examination of the psychometric properties of the Dutch translation. // Journal of Brief Therapy. 2010. № 7. P. 1–12.
9. Kline P. The handbook of psychological testing (2nd ed.) London: Routledge, 1999.