Консультативная психология и психотерапия
2013. Том 21. № 3. С. 179–189
ISSN: 2075-3470 / 2311-9446 (online)
Шкала оценки результата (ORS): предварительные результаты адаптации русскоязычной версии инструмента для получения обратной связи от клиентов в психологическом консультировании
Аннотация
В статье описаны результаты исследования в рамках адаптации русскоязычной версии шкалы оценки результата (ORS). Данный инструмент применяется в психологической практике для получения обратной связи от клиентов относительно изменений в различных областях жизни, что отражает основные показатели успешной психологической помощи. Инструмент представляет собой удобную в использовании в рамках консультации визуальную аналоговую шкалу. Представлены данные о надежности и валидности, полученные на российской выборке. Шкала демонстрирует достаточно высокую надежность (как внутреннюю согласованность, так и ретестовую надежность) и признаки конструктной валидности.
Общая информация
Ключевые слова: психологическое консультирование, клиент , обратная связь, валидность, надежность
Рубрика издания: Теория и методология
Тип материала: научная статья
Для цитаты: Милованова Е.А., Бочавер А.А., Хломов К.Д., Павловский А.И., Сковычева О.А., Богомолов В.А., Дмитриевский П.В. Шкала оценки результата (ORS): предварительные результаты адаптации русскоязычной версии инструмента для получения обратной связи от клиентов в психологическом консультировании // Консультативная психология и психотерапия. 2013. Том 21. № 3. С. 179–189.
Полный текст
Введение
Использование методик обратной связи в процессе психологического консультирования, в которых клиент может дать обратную связь по поводу изменений в своей жизни и/или эффекта консультаций, позволяет решать многие задачи одновременно: такая форма взаимодействия между клиентом и психологом позволяет с самого начала выстраивать отношения, основанные на сотрудничестве; получение обратной связи помогает специалисту определить субъективные переживания клиентом эффективности консультаций и, в конечном счете, снизить риски преждевременного завершения консультирования и повысить его эффективность [Lambert, 2011]. До сих пор в русскоязычной психологической практике данные инструменты представлены не были. Нам кажется очень важной возможность включать в работу психологов подобные методики, созданные на стыке исследовательских и практических задач.
Шкала оценки результата (Outcome Rating Scale) [Miller, Duncan, 2000] представляет собой визуальную аналоговую шкалу, заполнение которой занимает минимальное количество времени и не требует серьезных усилий со стороны клиента. Шкала состоит из четырех линий длиной 10 см каждая, на которой клиенту предлагается поставить отметку, отражающую его мнение. С левой стороны находятся низкие значения, с правой — высокие. Сумма баллов по каждой из четырех шкал дает общий балл, выраженный в сантиметрах, от 0 до 40.
Шкала оценки результата предлагает оценить уровень собственного благополучия за последнюю неделю в следующих областях — индивидуальной (подразумевается наличие/отсутствие симптомов, затруднений), в личных отношениях (в семье или с близкими), социальной (на работе/учебе, с друзьями) и общий уровень благополучия. Важно объяснить клиенту, что отметки по шкале должны отражать средний уровень благополучия за последнюю неделю, а не состояние «здесь и сейчас» [Bargmann, Robinson, 2011]. Изменения по шкалам отражают основные показатели успешной психологической помощи. Инструмент был разработан в рамках модели общих факторов [Rosenzweig, 1936; Wampold, 2010], опирающейся на положение, что различные психологические подходы и психотерапевтические школы действуют не за счет теоретических и технических особенностей, а за счет набора некоторых факторов, не зависящих от теоретической ориентации и встречающихся во всех методах психологической помощи. Поэтому шкала не привязана к какому-то теоретическому направлению и может применяться психологами и психотерапевтами, опирающимися в своей работе на различные теоретические основания и использующими любые методы. Шкала заполняется в начале встречи с клиентом и рассчитана на людей старше 13 лет (для детей до 13 лет существует детский вариант шкалы — CORS). Шкала показала себя как надежный и валидный инструмент в исследованиях на американской клинической и неклинической выборке [Miller, 2003]. Исследования показали, что использование на психологических консультациях данной шкалы вместе со шкалой оценки встречи (Session Rating Scale, позволяет клиентам давать обратную связь по терапевтическому альянсу) в два раза снижает вероятность преждевременного завершения консультирования и в 3.5 раза увеличивает вероятность достижения достоверных изменений клиентами [Lambert, 2011]. Шкала также может быть использована в семейном психологическом консультировании и групповой работе. Так, различия в оценках членов семьи следует делать видимыми, так как они могут дать богатые возможности для обсуждения, что является проблемой, кто больше всего заинтересован в изменениях и что будет считаться улучшением. Более того, шкала становится важным инструментом в ситуации «недобровольного» обращения клиента (когда клиент обращается за помощью по настоянию членов семьи, коллег, учителей и т. д.). В таком случае шкала позволяет визуально обозначить различия в оценках состояния клиента и обсудить, что будет заметным изменением для «направляющей» стороны и самого клиента [Miller, Duncan, 2000]. Важно отметить, что данная шкала в строгом смысле не является инструментом для оценки эффективности психологической помощи, хотя динамика показателей по шкале позволяет выявить субъективную оценку клиентом изменений в своей жизни. Существуют различные способы ее использования в практике. На наш взгляд, самым важным аспектом является не конкретный способ использования, а прежде всего понимание шкал обратной связи как «инструментов диалога» [Bargmann, Robinson, 2011], то есть способа опосредованно вести разговор с клиентом в рамках сотрудничающих отношений как с активным участником процесса, а не просто «получателем» помощи. Инструменты получения обратной связи делают процесс психологической помощи более открытым и прозрачным, позволяя клиентам влиять на ее процесс и принимать совместные с психологом решения (например, при отсутствии прогресса по шкале или при ухудшении изначальных оценок может быть полезным открыто обсудить возможности изменения подхода, частоты консультаций или перенаправления к другому специалисту). Такой подход противостоит медицинской модели психотерапии, где пациент находится в пассивной позиции принимающего «лечение».
Методы исследования
Данная шкала была переведена на русский язык с помощью профессиональных переводчиков, а также осуществлена проверка с использованием процедуры обратного перевода и последующим внесением исправлений.
Одним из дальнейших шагов по адаптации и валидизации данной методики для русскоязычной выборки стало тестирование людей, не обращающихся за психологической помощью. В исследовании приняли участие студенты 3-го курса Московского государственного психолого-педагогического университета (49 человек) и сотрудники центра социально-психологической адаптации и развития подростков «Перекресток» (23 человека). Всего в тестировании приняли участие 72 человека (12 мужчин и 60 женщин), средний возраст составил 23,5 года. Распределение значений данной выборки отличается от нормального. Между женщинами и мужчинами не было обнаружено статистически значимых различий по общим результатам шкалирования. Тестирование было проведено 4 раза с интервалом от 1 до 3 недель.
Также было предпринято выборочное тестирование людей, обратившихся за психологической помощью в центр социально-психологической адаптации и развития подростков «Перекресток». Это были взрослые и подростки, участвовавшие в семейных и/или индивидуальных психологических консультациях (n= 28), а также в регулярной психологической группе для родителей (n= 8). Всего в тестировании приняли участие 36 клиентов (12 мужчин и 24 женщины), средний возраст составил 29,9 лет. Тестирование проводилось раз в неделю или реже — иногда клиенты пропускали или переносили назначенные встречи.
Результаты
В таблице 1 приведены нормативные данные по испытуемым, не участвовавшим в психологических консультациях, и клиентам, обратившимся за психологической помощью. Данные приведены по первому заполнению шкал.
Таблица 1
Средние значения и стандартное отклонение по шкале ORS (первое тестирование)
Испытуемые |
Среднее значение |
Стандартное отклонение |
Не обращавшиеся за психологической помощью (n= 72) |
25.7 |
7 |
Обратившиеся за психологической помощью (n= 36) |
21.9 |
8.6 |
Данные, полученные в исследованиях иностранных авторов, представлены в табл. 2. Первые два исследования касаются англоязычной версии шкалы [Miller, 2003; Bringhurst, 2006], а последнее [Hafkenscheid, 2010] — голландской. Данные по версиям шкалы на других языках на текущй момент отсутствуют. Интересно отметить, что результаты, полученные в зарубежных исследованиях, отличаются от полученных в нашем исследовании: средние значения для испытуемых, не принимавших участия в психологических консультациях, ниже, а средние показатели клиентов, получавших психологическую помощь, выше. Это может объясняться как социокультурными различиями, так и различиями в размере выборок и в гендерном соотношении испытуемых.
Таблица 2
Средние значения (M) и стандартные отклонения (s) по шкале ORS в зарубежных исследованиях (первое тестирование, n — число испытуемых)
Испытуемые |
Miller, Duncan, Brown, Sparks & Claud 2003 [Miller, 2003] |
Bringhurst, Watson, Miller & Duncan 2006 [Bringhurst, 2006] |
Hafkensheid, Duncan, Miller, 2010 [Hafkens- cheid, 2010] |
Не участвовавшие в психологических консультациях |
М = 28; s = 6.8 n = 86 |
M = 29.9; s = 7.5 n = 98 |
- |
Участвовавшие в психологическом консультировании |
M = 19.6; s = 8.7 n = 435 |
- |
M = 19.3; s = 8.2 n = 126 |
Надежность шкалы
Мы оценили надежность шкалы ORS с точки зрения внутренней согласованности подшкал, используя коэффициент а Кронбаха. Для оценки внутренней согласованности шкалы использовались данные испытуемых, не обращавшихся за психологической помощью. Коэффициенты надежности по четырем проведенным тестированиям представлены в табл. 3.
Таблица 3
Внутренняя согласованность шкалы ORS — значения а Кронбаха
1-е тестирование (n = 72) |
2-е тестирование (n = 56) |
3-е тестирование (n= 45) |
4-е тестирование (n= 15) |
0.83 |
0.92 |
0.89 |
0.90 |
Данные значения демонстрируют достаточно высокую внутреннюю согласованность шкалы — для большинства психологических методик рекомендуются значения коэффициента выше 0.7 [Kline, 1999]. Авторы методики сообщали о коэффициентах а Кронбаха от 0.87 до 0.96 для 86 испытуемых, не принимавших участие в психологических консультациях [Miller, 2003]. В другом исследовании были также получены результаты для людей, не обращавшихся за психологической помощью — 0.91 для первого тестирования (n= 94), 0.93 для второго (n= 79) и 0.97 для третьего (n= 60) [Bringhurst, 2006].
В таблице 4 приведены значения ретестовой надежности, полученные в нашем исследовании, выраженные коэффициентом корреляции Пирсона. Для оценки ретестовой надежности использовались данные испытуемых, не обращавшихся за психологической помощью.
Таблица 4
Ретестовая надежность шкалы ORS — значения корреляции Пирсона
Корреляция между 1-м и 2-м тестированием (n= 56) |
Корреляция между 1-м и 3-м тестированием (n= 45) |
Корреляция между 1-м и 4-м тестированием (n= 15) |
0.72 |
0.79 |
0.68 |
Несмотря на полученные высокие значения ретестовой надежности, следует отметить, что интерпретация этих данных затруднена тем, что данная методика была специально сконструирована для отслеживания изменений в ответах испытуемых. Учитывая, что мы оценивали ретес- товую надежность по данным, полученным от людей, не участвующих в психологических консультациях, можно предположить, что данная методика надежна и в аспекте устойчивости тест-ретест.
Авторы методики приводят следующие данные для англоязычной версии: 0.66 для корреляции между первым и вторым тестированием, 0.58 — между первым и третьими, 0.49 — между первым и четвертым тестированием [Miller, 2003].
Валидность шкалы
Поскольку нам неизвестно о существующих на данный момент валидизированных русскоязычных методиках, используемых для получения обратной связи от клиентов в процессе психологической помощи, мы не смогли проверить конструктную валидность этого инструмента классическим способом — проведя корреляционный анализ результатов шкалы ORS и уже валидизированного сходного инструмента.
Однако мы смогли оценить конструктную валидность за счет чувствительности шкалы к степени отмечаемого благополучия клиентами психолога и неклиентами, т. е. людьми, не обращавшимися за психологической помощью. Оценки по шкале у клиентов должны быть ниже, и это различие должно быть статистически значимым, так как предполагается, что люди, обратившиеся к психологу, будут субъективно испытывать больший уровень дистресса, то есть меньший уровень благополучия. Как видно из табл. 1, это подтверждается в нашем исследовании — средние значения у клиентов, обратившихся за психологической помощью, ниже — различия статистически значимы приp< 0.05 (использовался критерий Манна-Уитни). Различия сохраняют статистическую значимость даже в том случае, если из статистического анализа убрать данные по клиентам, участвовавшим в психологической группе (n= 8).
Другим способом подтверждения валидности, который используют авторы методики [Miller, 2003], является сравнение значений по шкале в исходном (первом) тестировании и в последующих. Подтверждением валидности будет ситуация, в которой общий балл по шкале будет значимо увеличиваться у клиентов, участвующих в психологических консультациях, а у людей, не обращавшихся за психологической помощью, будет колебаться незначительно. Данные по первому и третьему тестированию представлены в табл. 5. Мы не стали использовать последующие тестирования для сравнения из-за слишком малого числа испытуемых.
Таблица 5
Средние значения по шкале ORS по 1-му и 3-му тестированию у клиентов и обычных испытуемых
|
1-е тестирование |
3-е тестирование |
Испытуемые, не обращавшиеся за психологической помощью (n= 45) |
25.6 |
26 |
Клиенты, обратившиеся за психологической помощью (n= 19) |
23.1 |
25.5 |
Как видно из табл. 5, у клиентов изменения более выражены количественно, однако различия между 1-м и 3-м тестированием не достигают статистической значимости ни в группе обычных испытуемых, ни в группе клиентов.
Выводы
Проведенное исследование позволяет сделать предварительные выводы о надежности и валидности русскоязычной версии шкалы оценки результата (ORS), предназначенной для получения обратной связи об изменениях в уровне благополучия от клиентов в рамках психологического консультирования и психотерапии.
В нашем исследовании полученные средние значения по группам испытуемых отличались от представленных авторами оригинальной методики — средние значения для испытуемых, не принимавших участия в психологических консультациях, оказались ниже, а средние показатели клиентов, получавших психологическую помощь, выше. Так как в нашем исследовании часть клиентов — подростки, последний факт согласуется с данными зарубежных авторов, что подростки обычно дают более высокие оценки по шкале в начале консультирования [Bargmann, Robinson, 2011].
Полученные результаты говорят о достаточной надежности русскоязычной версии шкалы как в аспекте внутренней согласованности, так и в аспекте ретестовой надежности.
Создатели методики проверяли валидность оригинальной версии инструмента тремя способами: через корреляцию с уже существующим валидным инструментом, выполняющим те же задачи; через различия в значениях по шкале в выборке клиентов, участвовавших в психологических консультациях от значений в выборке людей, не участвовавших в психологических консультациях и, наконец, через чувствительность шкалы к изменениям оценок испытуемых-клиентов при одновременном отсутствии значимых изменений у обычных испытуемых. В нашем исследовании нам удалось подтвердить валидность русскоязычной версии шкалы только одним из перечисленных способов: различия в оценках испытуемых клиентов и оценках обычных испытуемых были статистически значимы. Для проверки валидности необходимы дальнейшие исследования с большим числом испытуемых, которые являются клиентами в рамках психологических консультаций.
Важное свойство шкалы — ее краткость и простота, заполнение занимает минимальное количество времени и не требует серьезных усилий со стороны клиента. Данный инструмент, особенно в сочетании со шкалой оценки встречи (SRS, русскоязычная версия также находится в процессе адаптации), открывает новые возможности для практикующих специалистов и позволяет клиентам в большей степени занимать активную и вовлеченную позицию в рамках психологического консультирования. Полную версию шкал на русском языке можно скачать бесплатно в интернете на сайте http://centerforclinicalexcellence.com после регистрации, в разделе Performance measures. Методика приведена с разрешения одного из авторов.
Литература
- Lambert M.J., Shimokawa K. Collecting client feedback // Psychotherapy. 2011. № 48. P. 72–79.
- Miller S.D., Duncan B.L. The Outcome and Session Rating Scales. Administration and scoring manual. Institute of the study of therapeutic change. Chicago, IL, 2000.
- Bargmann S., Robinson B. The ICCE Manuals on Feedback-Informed Treatment (FIT). Manual 2: Feedback-Informed Clinical Work: The Basics. International Center for Clinical Excellence, 2011.
- Rosenzweig S. Some implicit common factors in diverse methods of psychotherapy. // American Journal of Orthopsychiatry. 1936. №6.P. 412–415.
- Wampold B.E. The research evidence for common factors models: a historically situated perspective. // The Heart and Soul of Change, Second Edition: delivering what works in therapy // Edited by Duncan B.L., Miller S.D., Wampold B.E., Hubble M.A., Washington, DC: American Psychological Association. 2010. P. 49–82.
- Miller S.D., Duncan, B.L., Brown J., Sparks J., Claud D. The Outcome Rating Scale: A preliminary study of the reliability, validity, and feasibility of a brief visual analogue measure. // Journal of Brief Therapy. 2003. № 2. P. 91–100.
- Bringhurst D.L., Watson C.W., Miller S.D., Duncan B.L. The reliability and validity of the Outcome Rating Scale: A replication study of a brief clinical measure. // Journal of Brief Therapy. 2006. № 5. P. 23–30.
- Hafkenscheid A., Duncan B.L., Miller S.D. The Outcome and Session Rating Scales: A cross cultural examination of the psychometric properties of the Dutch translation. // Journal of Brief Therapy. 2010. № 7. P. 1–12.
- Kline P. The handbook of psychological testing (2nd ed.) London: Routledge, 1999.
Информация об авторах
Метрики
Просмотров
Всего: 3784
В прошлом месяце: 72
В текущем месяце: 5
Скачиваний
Всего: 6767
В прошлом месяце: 66
В текущем месяце: 3