Психометрические тесты: новые исследования

3037

Аннотация

Предлагаемая подборка зарубежных публикаций касается применения психометрических тестов в практике консультативной и клинической психологии и в научных исследованиях. Представленные статьи отражают современный уровень знания, последние находки и разработки, а также некоторые новые вызовы в области психологической диагностики. Следует отметить, что для англоязычной литературы характерно использование термина «психологическая оценка» — как более общего и менее медикализированного. Материалы выставлены по дате публикации.

Общая информация

Рубрика издания: Дайджест исследований в клинической психологии и психотерапии

Тип материала: научная статья

DOI: https://doi.org/10.17759/cpp.2018260310

Для цитаты: Психометрические тесты: новые исследования // Консультативная психология и психотерапия. 2018. Том 26. № 3. С. 191–203. DOI: 10.17759/cpp.2018260310

Полный текст

Психометрические тесты являются одним из элементов психологической оценки (psychological assessment) человека. Цель психологической оценки: разобраться с аспектами сложного диагноза, помочь установить симптомы, копинг-стиль, личностные особенности или уточнить тип психотерапии или психотерапевта, оптимальные для достижения терапевтического эффекта. Другими элементами психологической оценки являются: интервью (обычно полуструктурированное), наблюдение за поведением, получение информации из других источников. В последнее время набирает популярность использование инновационных инструментов психологической оценки на основе компьютерной симуляции.

В клинической практике психологическая оценка чаще всего применяется: 1) до начала лечения; 2) если терапия не дает эффекта (выявление факторов, ограничивающих позитивную динамику); 3) при необходимости решения практических проблем пациента (например, при возобновлении трудовой деятельности).

Интервью помогает выяснить текущую ситуацию, выявить проблемы и идентифицировать важные элементы личной истории. Оно также вовлекает пациента в процесс оценки.

Психометрическое тестирование помогает консультанту лучше понять своего клиента. Оно дает картину личностного типа, показывает, что этот человек любит, а что — нет, а также замеряет его личностные и профессиональные качества.

Тестов существует огромное количество — практически для оценки любой переменной. Для клинической диагностики наиболее релевант­ны: 1) тесты на интеллект и нейропсихологическое функционирование (например, исследование исполнительной функции, памяти, внимания, способности рассуждать и т. д.); 2) краткие шкалы измерения симптомов; 3) многопрофильные инструменты типа теста Роршаха, MMPI, которые совмещают в себе оценку личности, копинг-стиля и психопатологии; 4) «чисто» личностные инструменты, не оценивающие психопатологию. Тип инструмента выбирается в зависимости от поставленного вопроса, ресурса времени и затрат на тестирование. Серьезным ограничением для применения многих психометрических инструментов является фактор самоотчетности. В клинической психотерапии тестирование применяется скорее в порядке эксперимента или в ходе научного исследования.

В этом выпуске мы знакомим читателей с некоторыми последними исследованиями возможностей использования психометрии в консультативной и клинической практике, и научных исследованиях, с новыми инструментами, с возникающими вопросами и направлениями поиска ответов.

Личностные опросники: «мелкие» ответы на «глубокие» вопросы

Люди склонны считать, что их подлинную и глубинную суть можно выявить с помощью личностных опросников, и это их очень привлекает. Однако психологи заметили поразительную черту популярных тестов, претендующих на раскрытие подлинного Я человека. Многие утверждения плохо составлены — они могут быть расплывчатыми и навязывать выбор, не связанный с противоположными позициями. С другой стороны, тесты, созданные опытными личностными психологами, используют более прямые вопросы. Пример — личностный тест «Большая пятерка» (Big Five Inventory). Он не столько подразделяет людей на «типы», сколько награждает их баллами по ряду психологических измерений, в частности, по открытости новому опыту, добросовестности, экстравер­сии, сговорчивости (доброжелательности) и нейротизму. Эта простота заложена изначально: психологи-исследователи знают, что чем труднее респондентам понять вопрос, тем этот вопрос хуже.

Американские психологи выполнили серию из пяти исследований с целью выяснить, какими эти тесты видятся неискушенным потребителям. Исследования показали, что люди смешивают трудности понимания утверждений с раскрытием их глубинной сути, скрытой в их подсознании. В результате популярные, но невалидные личностные тесты могут производить впечатление более глубоких, чем признанные инструменты социальной и личностной психологии. В первом исследовании участники сочли утверждения в популярном личностном тесте Keirsey Temperament Sorter (KTS) более трудными и лучше раскрывающими глубины их личности, по сравнению с утверждениями в опроснике «Большая пятерка». Второе и третье исследования воспроизвели этот эффект путем манипуляции трудностью утверждений в тесте. Четвертое и пятое исследования показали, что тот же эффект распространяется на менее прямые методы личностной оценки (например, связывание цвета с обычными понятиями). Авторы обсуждают модерирующие факторы и популярность низкокачественных личностных тестов.

Инструмент для скрининга высокофункционального аутизма больше ориентирован на мужчин

Диагностика аутизма — дело дорогое и по времени затратное, поэтому для отсеивания лиц без аутизма используются скрининговые инструменты. Вместе с тем, исследования последних лет поставили под сомнение способность точной идентификации людей с аутизмом одним из ведущих скрининговых инструментов — Autism-Spectrum Quotient. А недавно обнаружилась гендерная тенденциозность другого широко используемого опросника для оценки аутизма у взрослых с интеллектом нормальным или выше среднего — шкалы диагностики синдрома Аспергера (Ritvo Autism Asperger Diagnostic Scale-RevisedRAADS-R).

Исследование было выполнено британскими психологами. Они проанализировали данные RAADS-R более чем 200 человек с диагнозом аутизма и сравнили показатели мужчин и женщин в четырех областях: это были трудности в социальных взаимоотношениях, трудности с речью, необычные сенсорные переживания или двигательные проблемы и особые фиксированные интересы. Для этих областей известны половые различия — так, женщинам лучше удается прятать свои социальные и коммуникативные проблемы, а у мужчин более очевидны, и, соответственно, легче выявляются фиксированные интересы. Анализ, выполненный исследователями, не обнаружил половых различий в показателях RAADS-R между мужчинами и женщинами по разделам социальных связей, речи и фиксированных интересов.

Авторы объясняют такой результат тем, что RAADS-R основывается на способности людей правильно судить о своих симптомах и сообщать о них, а половые различия могут обнаруживаться при оценке аутиста со стороны опытным клиницистом. По данным предшествующих исследований, у людей с аутизмом часто отсутствует критика к собственному поведению, и им трудно описать свои симптомы. Другое объяснение — это и другие исследования проводятся только на людях с аутизмом, получивших диагноз благодаря этим самым инструментам и тестам, которые изначально разрабатывались на мужской выборке, и, вполне вероятно, что они выявляют лишь женщин с более «мужским» профилем аутисти­ческого расстройства. В ходе анализа обнаружилось лишь одно половое отличие: женщины чаще мужчин сообщали о сенсорных переживаниях и моторных проблемах. Авторы указывают на необходимость разработки скринингового инструмента, позволяющего выявлять женский аутизм.

Оригинал: Moseley R.L., Hitchiner R., Kirkby J.A. Self-reported sex differences in high-functioning adults with autism: a meta-analysis // Molecular Autism. 2018. Vol. 9 (33). doi: 10.1186/s132229-018-0216-6

Нужны эффективные инструменты для диагностики депрессии у аутистов

По результатам нового исследования, существующие инструменты психологической оценки не позволяют эффективно диагностировать депрессию у взрослых с расстройством аутистического спектра (РАС). Это показал выполненный учеными британского Ноттингемского университета систематический обзор данных об инструментах оценки для диагностики взрослых с РАС, страдающих депрессией. На сегодняшний день нет валидизированных инструментов для оценки депрессии именно среди взрослых аутистов.

Руководитель исследования Сара Кассиди (Sarah Cassidy) сейчас работает над новым инструментом для этой цели: «Очень важно, чтобы мы могли эффективно выявлять депрессию у взрослых аутистов. К сожалению, существующие инструменты были разработаны для популяций не- аутистов, и они могут упустить уникальные и тонкие признаки депрессии у людей с РАС».

Проблемы психического здоровья в какой-то момент жизни испытывают 79% людей с РАС, и самой распространенной является депрессия. Депрессия, в свою очередь, повышает риск появления суицидальных мыслей и суицидального поведения. Трудности диагностики депрессии у людей с РАС обусловлены тем, что многие ее проявления совпадают с симптомами и особенностями поведения, характерными для аутизма как такового. В частности, это социальная отгороженность, трудности со сном и избегание контакта глазами.

В настоящее время диагностика депрессии основывается главным образом либо на интервью с клиницистом, либо на опросниках самоотчета, причем все они были разработаны для использования в общей популяции. «Существующие инструменты полагаются на самоотчет пациентов, на их способность рефлексировать и сообщать о личном эмоциональном переживании — а это крайне трудно для аутистов, а для многих просто невозможно. На наш взгляд, аутистам нужны специфические вопросы, позволяющие «поймать» их уникальную презентацию депрессии, например, касающиеся изменений в социальной отгороженности, паттернах сна, чувствительности к окружению, стереотипного поведения или потери интереса к тому, что ранее очень сильно привлекало человека», — отмечают авторы.

Оригинал: Cassidy S.A., Bradley L., Bowen E. et al. Measurement properties of tool used to assess depression in adults with and without autism spectrum conditions: A systematic review // Autism Research. 2018. Vol. 11 (5). P. 738—754. doi: 10.1002/ aur.1922

Некорректные методы исследования завышают показатели распространенности депрессии

Распространенная практика использования скрининговых опросников на основе самоотчета пациентов, а не диагностических интервью, проводимых исследователями, привела к завышенной оценке распространенности депрессии, — сообщают канадские ученые. «Эти исследования неправильно представляют подлинный уровень депрессии и искажают его подчас драматическим образом, что осложняет задачу направления необходимых ресурсов для решения проблем пациентов», — отмечает ведущий автор исследования Бретт Томбс (Brett Thombs). «Опросники самоотчета предназначены для использования при первичной оценке и в целях широкого выявления лиц, у которых могут быть трудности в сфере психического здоровья. Но для определения диагноза и возможных иных проблем требуется более тщательная оценка». По мнению авторов, исследователи часто используют опросники самоотчета, потому что диагностические интервью затратны по времени и дороги с точки зрения организации. «Кроме того, исследования с броскими результатами имеют больше шансов на публикацию в журналах с высоким импакт-фактором и привлекают больше внимания, чем работы с более скромными данными. Это тоже может подтолкнуть некоторых исследователей к использованию данных самоотчета, а не к организации соответствующих диагностических интервью».

Оригинал: Thombs B.D., Kwakkenbos L., Levis A.W., Benedetti A. Addressing overestimation of the prevalence of depression based on self-report screening questionnaires // Canadian Medical Association Journal (CMAJ). 2018. Vol. 190 (2). P. 44—49. doi: 10.1503/cmaj.170691

В опросах мы завышаем наши негативные чувства

Новое исследование психологов показало, что при опросах мы склонны завышать наши негативные чувства и симптомы. Со временем эта тенденция исчезает, но результаты указывают на возможность неправильной интерпретации замеров здоровья и благополучия, значимых для медицинских заключений и определяющих направления развития научных исследований в области здоровья. «Понимание величины этого искажения крайне важно для точной интерпретации результатов обследований, включающих в себя субъективные данные самоотчета о чувствах и симптомах», — говорит один из авторов профессор из Университета Нью-Йорка Патрик Шраут (Patrick Shrout). Работа опубликована в журнале PNAS.

Уже давно существует понимание того, что опросники являются очень несовершенным инструментом для измерения настроения и эмоций. Но они, тем не менее, позволяют понять предпочтения людей, их страхи и приоритеты, что важно для определения дальнейшей политики. Менее ясно, например, то, насколько точно наши эмоции повторно за­меряются такими инструментами на протяжении времени, хотя именно таким способом принято оценивать изменения в симптомах, отношении и благополучии. Психологическая литература сообщает о том, что показатели сообщений о тревоге, депрессии и физических симптомах со временем снижаются, независимо от обстоятельств исследования людей. Чтобы изучить это снижение, ученые провели четыре отдельных эксперимента, в которых участников несколько раз на протяжении определенного промежутка времени просили сообщить об их тревоге, физических симптомах и уровне энергии. В трех исследованиях из четырех участников ожидало впереди стрессовое событие (трудный экзамен), и предполагалось, что по мере его приближения у участников будет выше тревога и больше физических жалоб типа головной боли и расстройств сна. В четвертом исследовании студентов просили заполнять опросник каждые два месяца на протяжении учебного года. Во всех исследованиях участники сообщили о более высокой тревоге и уровне симптомов при первом заполнении опросника, в сравнении с более поздними заполнениями, хотя можно предположить, что по мере приближения стрессового события показатели тревоги и физических симптомов должны были увеличиваться. Авторы связывают такой паттерн в большей степени с завышенной оценкой дистресса и симптомов при первом заполнении, чем с заниженной оценкой при последующих заполнениях.

Что происходит в области психологической оценки?

С целью выяснить, какие статьи представляют интерес для сообщества и для профессионального журнала, а также выявить потенциальные ниши в области психологической оценки, главный редактор Европейского журнала психологической оценки (European Journal of Psychological Assessment) Самуэль Грейф (Samuel Greiff) произвел в базе Web of Science поиск публикаций по словам psychological и assessment в периоды 2014— 2016 и 2008—2010. Результаты своего исследования автор излагает в редакционной статье. По полученным данным Грейф делает два вывода: 1) область психологической оценки переживает подъем; 2) в оценке заметный акцент делается на областях клинической, когнитивной и педагогической психологии, далее следуют вопросы методологии и личностная оценка. Поразительно мало публикаций дал поиск по словам «промышленная оценка» и «организационная оценка».

Автор отмечает, что «... мы живем в мире постоянных перемен, и современные технологии значительно изменили способы функционирования общества». Не осталась в стороне от этих процессов и психологическая оценка — в ней возрастает роль инновационных инструментов на основе компьютерной симуляции, использующих поведенческие и процедурные данные с целью совершенствования процесса оценки или в попытке «поймать» новые конструкты.

Вместе с тем классические тесты оценки интеллекта и личностные опросники, использующие карандаш и бумагу, были, есть и будут оставаться стержнем психологической оценки. Инновационные методы и инструменты оценки пока представлены в литературе очень незначительно (менее 1%).

Грейф подчеркивает, что независимо от контента миссия журнала, а также область психологической оценки в целом опираются на три столпа: 1) тесная связь с психологической наукой; 2) акцент на психологической оценке с точки зрения развития знания; 3) качество и транс­парентность (высокие научные стандарты, рецензирование коллег, доступность рабочих материалов). В частности, Грейф обращает внимание на то, что инструмент оценки должен опираться на психологическую теорию. «Это казалось бы очевидное требование, но поразительно, как часто эта простая и в то же время фундаментальная предпосылка не соблюдается», — пишет автор. «Слишком часто название инструмента оценки и его ярлык принимаются за подлинное содержание, и при этом остается неясным, как утверждения инструмента соотносятся с соответствующей теоретической дефиницией».

Насколько стабильны личностные показатели в юности?

Ученые исследовали устойчивость личностных показателей в подростковом и молодом взрослом возрасте по данным теста «Большая пятерка». На материале данных двух крупных и отчасти совпадающих когорт нидерландских подростков, содержащих до семи волн лонгитюдной информации каждая (N=2230), изучались стабильность личностных черт «Большой пятерки», их паттерны, изменения и соразвитие в парах с друзьями и братьями/сестрами (сиблингами) в возрасте от 12 до 22 лет. Под соразви- тием имеется в виду тенденция у членов пары или группы демонстрировать взаимосвязанное развитие определенных характеристик по причине социальной связи. В результате анализа личностных данных самоотчета целевой группы подростков, их друзей и братьев/ сестер всех волн исследования, ученые обращают внимание на следующие находки.

Ранговая устойчивость личностных черт была значительной уже в возрасте 12 лет; она сильно возрастала в раннем и среднем подростковом возрасте и оставалась довольно стабильной в позднем подростковом и раннем взрослом возрасте.

Обнаружено линейное среднего уровня нарастание добросовестности у девочек, сговорчивости у обоих полов и открытости новому опыту у мальчиков. Также установлены временные (в форме U) провалы по добросовестности у мальчиков и по эмоциональной стабильности и экс­траверсии у девочек, а также рост, а затем снижение (в форме J) по открытости к новому опыту у девочек. Выявленная личностная регрессия оказалась краткосрочной, и в старшем подростковом возрасте прежние положительные черты подростков восстановились.

Подростки показали значительные индивидуальные различия в степени и направленности изменений личностных черт, особенно по параметрам добросовестности, экстраверсии и эмоциональной стабильности.

Не обнаружено свидетельств конвергенции личностных черт, корреляционных изменений или отложенного во времени эффекта у партнера в парах с друзьями или сиблингами. Такое отсутствие свидетельств со- развития указывает на то, что друзья и сиблинги подростков меняются независимо друг от друга и их общий опыт не оказывает одинакового влияния на их личностные черты.

Среди ограничений исследования авторы называют использование сравнительно краткого опросника «Большой пятерки» (6 утверждений на один параметр), что затрудняет проведение тонкого анализа сораз- вития по измерениям более низкого уровня.

Разработка кратких версий Шкалы трудностей эмоциональной регуляции

За последние несколько лет произошли впечатляющие перемены в области аффективной клинической науки. Важной частью исследований по этому разделу знания является понимание эмоциональной регуляции и дисрегуляции и, в частности, различий в способности людей идентифицировать свои эмоциональные переживания, принимать их и управлять ими. Одним из наиболее распространенных и часто цитируемых инструментов измерения эмоциональной дисрегуляции является Шкала трудностей эмоциональной регуляции (Difficulties in Emotion Regulation Scale DERS, Gratz & Roemer 2004), которая активно используется с целью изучения ассоциаций между эмоциональной дисрегуля- цией и психиатрическими симптомами, иными связанными с эмоциями конструктами, а также с позитивной динамикой в ходе терапии. При всей пользе этой шкалы, у нее есть существенное неудобство — она длинна, и это ограничивает ее использование, например, в процессе лечения или в крупномасштабных эпидемиологических исследованиях.

Исследователи из США предложили краткую версию шкалы DERS (DERS-18), в которую попали самые сильные утверждения из шести под­шкал изначального варианта, и валидизировали этот вариант в пяти наборах данных, которые варьировали по возрасту и типу выборки. Результаты показывают, что краткая форма DERS из 18 пунктов демонстрирует ту же структуру, что и оригинальный инструмент из 36 пунктов, а также великолепную надежность и валидность. По мнению авторов, краткая версия DERS-18 обладает потенциалом улучшения оценки эмоциональной регуляции и расширения ее применения при снижении нагрузки на участников исследования.

Ранее свой краткий вариант шкалы DERS, но из 16 пунктов, предложила группа шведских и американских ученых. По данным исследования, DERS-16 сохраняет отличную внутреннюю согласованность, хорошую надежность изначального и последующего тестирования, а также хорошую конвергентную и дискриминантную валидность.

Роль пятифакторной модели в личностной оценке и планировании лечения

Два десятилетия назад Харкнес и Лилиенфелд (Harkness and Lilienfeld, 1997) опубликовали основополагающую статью, в которой сформулировали потенциальную роль личностной оценки в планировании лечения. Тогда они выделили четыре крупных области применения: 1) обеспечение информации о направлении приложения усилий с целью достижения изменений; 2) способствование реалистическим ожиданиям от терапевтических вмешательств; 3) облегчение выбора соответствующего случаю эффективного лечения; 4) способствование усилению саморазвития. Авторы из Университета Торонто представили обзор литературы о роли личностной оценки в лечении, используя в качестве рамочной конструкции четыре вышеупомянутых рекомендации. Ученые приходят к выводу о необходимости продолжения научных исследований и проверки, в частности, следующего:

а)    в какой мере изменения в адаптации характеристик опосредуют воздействие базовых личностных тенденций на улучшение симптомов;

б)    влияние личности на мотивацию к лечению и приверженность к выполнению домашних заданий;

в)            роль личности в прогнозировании различных аспектов психотерапии;

г)    эффективность техник оценки психотерапии с использованием замеров универсальных личностных черт.

Авторы также отмечают, что, несмотря на некоторые достижения последних двух десятилетий, клиническим психологам следует взращивать в себе и развивать понимание значимости личностной оценки в усилении воздействия терапевтических интервенций. Данные личностной оценки позволят психотерапевтам и специалистам смежных профессий выбрать адекватные модальности терапии и помогут в составлении плана лечения, что, в свою очередь, способствует оптимизации терапии.

Личностный опросник для DSM-5

В настоящее время происходит сдвиг парадигмы личностной психопатологии от сугубо категориальной к основанной на дименсио- нальных индивидуальных различиях. Раздел III (Emerging Measures and Models) американской DSM-5, например, включает в себя гибридную категориально-дименсиональную модель классификации личностных расстройств. Для применения данной гибридной модели рабочая группа по разделу «Личность и личностные расстройства» разработала инструмент самоотчета для оценки патологических черт личности — так называемый Личностный опросник для DSM-5 (Personality Inventory for the DSM-5, или PID-5). Этот инструмент был предложен профессиональному сообществу для научных исследований с целью выяснения возможностей его дальнейшего клинического применения. Опросник состоит из 220 утверждений, оценивающих 25 личностных черт по четырехбалльной шкале от 0 до 3.

С момента начала применения PID-5 опубликовано 30 статей (на материале 39 выборок), посвященных различным аспектам его психометрических характеристик. В статье канадских исследователей из Университета Торонто, опубликованной в Journal of Personality Assessment, дается обзор психометрических характеристик PID-5, если подходить к ним со стороны стандартов образовательного и психометрического тестирования. PID-5 показывает адекватные психометрические качества, включая воспроизводимую факторную структуру, близость к существующим личностным инструментам и ожидаемые ассоциации с широко концептуали­зированными клиническими конструктами. Авторы указывают на необходимость увеличения числа исследований, посвященных клиническому применению опросника, дополнительным формам надежности и валидности, отношениям с психопатологическими личностными чертами в клинических выборках, альтернативным методам установления критериев валидации, эффективному применению показателей отсечения.

Оригинал: Al-Dajani N., Gralnick T.M., Bagby R.M. A psychometric review of the Personality Inventory for DSM-5 (PID-5): Current status and future directions // Journal of Personality Assessment. 2016. Vol. 98 (1). P. 62—81. doi: 10.1080/00223891.2015.1107572

Попытка измерить ментализацию

Наличие способности к ментализации или ее развитие — это общий фактор для различных форм психотерапии (КПТ, межличностная, кли- ент-ориентированная, психодинамическая, системная и т. д.), а также основополагающее качество пациента и терапевта в общей психиатрической практике. По настоящее время не было удобного в применении инструмента, который бы позволил клиницистам измерить характер и степень способности пациента к ментализации. Шкала рефлективного функционирования (Reflective Functioning Rating Scale RFRS) была разработана для удовлетворения потребности в подобных измерениях.

Два нидерландских психиатра поставили перед собой цель исследовать структуру, надежность, валидность и практическую пользу от этой новой шкалы в психотерапевтической популяции. С помощью существующей инфраструктуры и рутинного мониторинга исхода в изучаемых выборках было выполнено поперечное исследование среди пациентов, получающих психотерапию, и их психотерапевтов.

Результаты — утверждения шкалы RFRS можно было сгруппировать в три клинически значимые измерения: адекватная ментализация (АМ), заблокированная ментализация (ЗМ) и нементализируемое поведение (НМП). В первых двух измерениях обнаружена отличная внутренняя согласованность, а в третьем (НМП) — плохая. Неудовлетворительной была гомогенность оценок (inter-rater reliability) для всех трех шкал. Разочарование вызвали концептуальная и текущая валидность. И, наконец, польза от этого инструмента, по мнению использовавших ее психотерапевтов, была ниже установленного стандарта. Три из 13 участвовавших в исследовании психотерапевтов сочли заполнение опросника серьезной нагрузкой, и четыре психотерапевта заявили, что не собираются использовать эту шкалу по завершении исследования.

Вывод: понятие «ментализация» часто используется в психотерапевтической и психиатрической практике. Но пока еще нет инструмента, который бы позволил клиницистам измерить характер и степень мен- тализации. В настоящем виде шкала RFRS не соответствует установленным стандартам.

Оригинал: Kemps S.J.L.M., Kooiman C.G. Het meten van mentaliseren; een poging met de Reflective Functioning Rating Scale // Tijdschrift voor Psychiatrie. 2015. Vol. 57 (9). P. 645—655.

Составитель-переводчик: Елена Можаева


[I] С требованиями к оформлению статей можно ознакомиться на сайте: http:// psyjournals.ru/info/homestyle_guide/index.shtml

Метрики

Просмотров

Всего: 3138
В прошлом месяце: 27
В текущем месяце: 16

Скачиваний

Всего: 3037
В прошлом месяце: 26
В текущем месяце: 13