Психометрия латентных характеристик: инструменты, проблемы обработки ранговой информации, решения

В работе рассматриваются проблемы корректности и адекватности применения психометрических инструментов в психосоциальных исследованиях и приложениях. Основное внимание уделяется проблеме корректной обработки ранговой информации, являющейся нечисловой информацией, которая не допускает использования классических математических операций, начиная с операции сложения. Представлен подход формирования результатов обработки экспертной, ранговой информации в шкале отношений на основе метода анализа иерархий (МАИ), который включает аппарат измерений и алгоритмы принятия решений. Приводится пример, моделирующий ситуацию экспертного консилиума и демонстрирующий недопустимые противоречия, возникающие при «числовом» подходе к обработке ранговой информации. Представлены алгоритмы нормативного подхода МАИ, позволяющие получать численные, персонализированные оценки психосоциальных характеристик. Описаны базовые концепции метрической системы Раша (МСР) для сравнения возможностей МАИ и МСР в психосоциальных приложениях. Рассматриваются некоторые критические замечания в адрес методов психометрии. Показано, что истоки критических замечаний связаны с поверхностным пониманием основных концепций психометрических измерений и области их применений, а также с элементарными ошибками при использовании аппарата психометрических инструментов.

Введение

В психологии, психиатрии, неврологии, педагогике и социологии психометрические ранговые инструменты используются для измерения и оценки уровня выраженности латентных характеристик человека (пациента). К таким характеристикам относятся: интеллектуальные способности, нейрокогнитивные функции, агрессия, депрессия, тревога, стигма, межличностные отношения и другие свойства личности.

В настоящее время можно выделить два основных направления использования психометрических инструментов, на которые мы опираемся для иллюстрации и решения поставленных задач в рамках данной работы.

1. Традиционное направление

Информация, полученная на основе ранговых психометрических шкал, тестов и опросников, рассматривается (без всяких дополнительных условий и соображений, в частности, вероятностного характера) как числовая информация, которую можно обрабатывать любыми математическими средствами.

В рамках такого числового подхода к ранговой информации исследователи в своих работах оперируют такими недопустимыми характеристиками, как сумма баллов и средние баллы по пунктам диагностических шкал и субшкал, дисперсия и стандартные отклонения, ошибки средних величин и т.д. Такие примеры можно обнаружить при просмотре статей, в практически любых журналах, в области психосоциальных исследований, использующих ранговые шкалы. Здесь можно назвать множество ссылок из работы [20], а в качестве свежих примеров [6; 7; 19; 23].

Недопустимость использования классических математических операций в рамках ранговой (порядковой) шкалы известна уже более 50 лет, начиная с основополагающих работ J. Pfanzagl [25]. Этот факт описан в зарубежных и отечественных руководствах и учебных пособиях по теории шкал и методам математической обработки данных (см., например, [8; 14; 18; 24]).

2. Современное направление

1) В рамках этого направления исследователи, зная о недопустимости обработки ранговой информации классическими математическими методами, предлагают использовать метрические измерительные системы. К таким системам относятся, в частности, метод анализа иерархий (МАИ или в англоязычной нотации – Analytic Hierarchy Process (AHP)), включающий средства измерений и алгоритмы принятия решений [2; 5; 10-13; 15; 22; 28-30], а также метрическая система Раша (МСР) [1; 3; 4; 21; 26; 27]. Отметим, что в нашей работе обсуждается классический вариант МСР, так как именно с этой моделью связана современная критика психометрических инструментов, представленная в статье [17]. Также классический вариант МСР некорректно используется в рамках российской экзаменационной системы ЕГЭ (см., например, [9]), что является одной из причин возникновения критики психометрических инструментов.

2) В последние годы появились работы, в которых обсуждаются доводы критического характера по отношению к психометрии. Основной посыл этих доводов заключается в том, что психометрия вообще не может рассматриваться в качестве инструмента измерения латентных характеристик человека (например, [17; 31]).

Утверждается, что идея психометрии как средства, позволяющего получать оценки психосоциальных характеристик человека, основана на нечетких значениях базовых терминов, которые часто путают, а также на ошибочных предположениях о том, как измерения могут быть реализованы при исследовании психики.

Проблема исследования

Таким образом, существует проблема оценки корректности и адекватности применения психометрических инструментов в психосоциальных исследованиях. В настоящей работе основное внимание уделено возможностям и перспективам использования МАИ при обработке ранговой информации, полученной с помощью надежных психометрических инструментов. Сравнение возможностей методов МАИ и МСР требует отдельного исследования, но некоторые замечания об особенностях использования МСР, а также по вопросу критики психометрических инструментов будут сделаны после изложения возможностей применения МАИ для решения проблем психометрии.

Материал и методы

В работе используются материалы российских и зарубежных научных публикаций, а также результаты собственных исследований, посвященных использованию и обработке разнородных данных, представленных в разных шкалах от категориальных до шкал отношений.

Методы анализа данных: статистический, ранговые методы, метод МАИ. Все расчеты на основе предлагаемых алгоритмов выполнялись в среде MS Excel.

Результаты и обсуждение

1. Некорректность числового подхода к обработке ранговых данных психометрии

Причина продолжающейся практики числового подхода к обработке ранговой информации лежит в области абстрактности используемых методов теории измерений и шкал при доказательстве, например, недопустимости использования в ранговых шкалах таких операций, как суммирование и вычисление среднего арифметического. Но на качественном уровне понимания ранговой информации ясно, что сумма знаний двоечника (2 балла) и троечника (3 балла) не равна уровню знаний отличника (5 баллов).

Основная причина подобных фактов в психосоциальных исследованиях заключается в неравномерности меток порядковых (ранговых) шкал, для которых можно использовать только операции упорядочивания: равенство, больше, меньше или монотонного преобразования без нарушения исходного порядка (например, [14; 18]).

Рассмотрим простой пример, моделирующий ситуацию экспертного консилиума и демонстрирующий недопустимые противоречия, возникающие при «числовом» подходе к обработке ранговой информации. В табл. 1 приводятся результаты экспертного оценивания состояния двух пациентов Р1 и Р2, полученные от 11-ти специалистов равной квалификации, которые использовали 7-балльную ранговую шкалу (уровни этой шкалы: от 1 до 7, упорядочены по возрастанию тяжести признака-симптома).

Таблица 1. Экспертные оценки состояния пациентов Р1, Р2 в 7-балльной шкале

А. Очевидно, что на основе принципа абсолютного большинства оценка состояния пациента Р1 – 6 баллов, а для пациента Р2, соответственно, 5 баллов. Это принцип, который в теории принятия решений позволяет избежать парадоксов, существующих в различных системах выбора. Дополнительным аргументом являются оценки из описательной статистики: медиана и мода, которые совпадают и для P1 (6 баллов), и для Р2 (5 баллов).

В. Если исходить из «числового» подхода к ранговым данным табл. 1, то для средних оценок (С1 и С2) состояния Р1 и Р2 получаем (c точностью до 0,01):

С1 = (8*6 + 3*3) / 11 = 5,18; С2 = (9*5 + 2*6) / 11 = 5,18

С учетом стандартной ошибки вычисления среднего получаем:

С1 = 5,18 ± 0,42; С2 = 5,18 ± 0,12

Полученный результат приводит в лучшем случае к неопределенной ситуации, а в худшем – к противоположному выводу по сравнению с пунктом А. Логичным выходом из этой ситуации является признание факта, что ранговые данные из табл. 1 не допускают вычисление среднего арифметического.

Дополнительным подтверждением такого вывода являются результаты обширного клинического исследования [3], в котором было выявлено, что критерии оценки тяжести депрессии в шкале Гамильтона (HRSD, Hamilton), разработанные на основе ранговых данных в рамках «числового» подхода, не согласуются с клиническими данными.

Комментарий к примеру.

Некорректная («числовая») обработка ранговой информации, как следует из приведенного примера, ведет к неопределенным ситуациям или ошибкам при оценке выраженности (тяжести) расстройств, а это, очевидно, негативно отражается на эффективности соответствующих психосоциальных исследований и вмешательств.

Приведенный простой пример далее использован для демонстрации корректных алгоритмов МАИ в обработке ранговой информации.

2. Обработка ранговых данных психометрии на основе метода анализа иерархий

2.1 Основные сведения о методе анализа иерархий

В современной теории принятия решений для многокритериальных, слабо структурированных проблем (очевидно, что к таким проблемам относятся основные психосоциальные проблемы) наиболее естественным и эффективным методом обработки разнородной информации является МАИ. Автором метода, которому более 50 лет, считается американский математик Т. Саати (T.L. Saaty), но нужно отметить, что отечественными авторами (Б.Н. Брук и В.Н. Бурков, [5]) был предложен метод обработки ранговой информации (раньше работ T.L. Saaty), который фактически является математической основой аппарата МАИ.

С 1988 г. (раз в 2 года) проводятся мировые симпозиумы по проблемам приложений и развития МАИ (International Symposium on Analytic Hierarchy Process, ISAHP), последний (17-й по счету) состоялся в декабре 2022 г. (виртуальный формат). Количество работ теоретического и прикладного характера на основе МАИ практически во всех областях (наука, бизнес, промышленность, здравоохранение, образование и т.д.) измеряется тысячами (см., например, обзоры работ с использованием МАИ [2; 22; 30]).

МАИ представляет собой системный метод принятия решений, основанный: 1) на иерархическом представлении проблемы (в нашем случае иерархия описания процедуры измерения латентных характеристик); 2) на сборе экспертной информации (количественной и качественной), собранной в рамках этой иерархии с помощью парных сравнений объектов иерархии; 3) на фиксации результатов парных сравнений с помощью фундаментальной шкалы МАИ (шкалы отношений), которая является базовым элементом аппарата МАИ; 4) на получении количественных оценок (в шкале отношений) латентных характеристик с помощью аппарата МАИ.

МАИ не опирается на вероятностные подходы, т.е. не является статистической процедурой. МАИ используется как для индивидуальных решений (естественно, эксперт должен разбираться в поставленной проблеме и владеть аппаратом МАИ), так и для групповых (коллективных) решений (на практике такой коллектив составляет до 10-20 экспертов).

Отсюда следует, что МАИ и классический вариант МСР (а также семейство моделей, разработанных для усовершенствования МСР) – совершенно разные модели, имеющие свои области применения. На практике МАИ обычно используется для оценки до 10 латентных характеристик, у одного или нескольких испытуемых.

К достоинствам МАИ относится наличие простого математического аппарата (линейная алгебра и матричный анализ), а также стандартные вычислительные процедуры на основе MS Excel.

К основным достижениям T.L. Saaty и его сотрудников (психологи, психофизиологи, математики, статистики) относится, прежде всего, разработка и использование шкалы отношений (фундаментальная шкала МАИ) для измерения предпочтений экспертов в процедурах попарного сравнения и оценки объектов любой природы [2; 10; 15; 28; 29].

Эта числовая шкала была получена на основе соотношений процесса нервного возбуждения, которые приводят к известному в психофизиологии закону «стимул-реакция», и показала свою эффективность в многочисленных разнообразных приложениях и исследованиях.

Шкала является бесконечным интервалом (0; ∞), а к основным значениям шкалы, которые удобно использовать в большинстве приложений, относятся числа из интервала (0; 9). Эта шкала не включает нуль, т.к. в противном случае будут допускаться к рассмотрению объекты с нулевой весомостью, т.е. несущественные для рассматриваемой проблемы.

Для удобства и облегчения работы эксперта при парных сравнениях объектов основные числа шкалы МАИ имеют лингвистическое описание: 1 – равная важность; 3 – слабое предпочтение; 5 – значимое предпочтение; 7 – сильное предпочтение; 9 – абсолютное предпочтение; 2, 4, 6, 8 – для промежуточных случаев. В шкалу входят и соответствующие обратные значения (результаты обратных сравнений). При этом коллективом T.L. Saaty учтены психофизические особенности человека при обработке информации.

2.2 Основные этапы решения задач обработки информации в рамках МАИ

Проблему оценивания состояний пациента (в рамках примера) можно представить в виде иерархии (сверху-вниз): 1-ый уровень – итоговая оценка состояния; 2-ой уровень – специалисты-эксперты; 3-ий уровень – это критерии оценивания (в нашем примере использован один критерий, а в общем случае их может быть несколько), измеряемые в соответствующих психометрических шкалах; 4-ый уровень – пациенты.

Для решения рассматриваемого примера обработки ранговой информации следует использовать нормативный подход МАИ [2; 10-12; 15]. Подход основан на использовании экспертных парных сравнений оценок ранговой шкалы (с помощью фундаментальной шкалы МАИ) для формирования числовой шкалы интенсивностей соответствующих оценок ранговой шкалы.

Рассмотрим матрицу (табл. 2) экспертных оценок парных сравнений уровней 7-балльной шкалы («1», …, «7»), используя для фиксации результатов парных сравнений основные значения фундаментальной шкалы МАИ. Напомним, что ранговая 7-балльная шкала используется в рассматриваемом примере (табл. 1). Уровни ранговой шкалы от минимального («1») до максимального («7») упорядочены по тяжести выраженности симптома.

Таблица 2. Матрица результатов парных сравнений отметок («1», …, «7») ранговой шкалы на основе соглашения экспертов (Э)

Элементы матрицы из табл. 2 представляют собой числа фундаментальной шкалы МАИ, представляющие собой результаты парных экспертных сравнений уровней 7-балльной шкалы. Например, по главной диагонали такой матрицы всегда стоит значение 1 (в матрице выделено жирным курсивом), т.к. результат сравнения любого уровня ранговой шкалы с этим же уровнем имеет равную важность, которая выражается числом 1.

Алгоритм заполнения матрицы удобно рассмотреть на примере первой строки, элементы которой фиксируют степень предпочтения (по тяжести выраженности симптома) уровня «7» над следующими уровнями («6», «5», ..., «1»). Результат предпочтения оценки «7» над оценкой «6» эксперты оценили числом 2, которое означает промежуточное значение между равной важностью (1) и слабым предпочтением (3). Далее, результат предпочтения оценки «7» над оценкой «5» эксперты оценили числом 3, которое означает слабое предпочтение. Наконец, результат последнего сравнения: предпочтение оценки «7» над оценкой «1» эксперты оценили числом 9, которое означает абсолютное предпочтение.

Аналогично заполняются элементы следующих строк верхней треугольной части матрицы (над главной диагональю матрицы), которые всегда будут иметь значения больше 1, т.к. сравниваемые ранги упорядочены по тяжести симптома. Нижняя часть матрицы (под главной диагональю) симметрично заполняется обратными значениями (меньше 1), т.к. они соответствуют результатам обратных сравнений. Поэтому матрицы парных сравнений в МАИ называют обратно-симметричными, у которых элементы, симметричные относительно главной диагонали, удовлетворяют соотношению:

a(i, j) = 1 / a(j, i),

где a(i, j) – элемент матрицы парных сравнений A (табл. 2) с индексами i и j.

Приведем основные теоретические соотношения МАИ для нахождения характеристик весомости оценок ранговой шкалы [2; 10-12; 15; 28; 29]. Обозначим через w(i) числовые нормированные веса i–ой ранговой оценки, где i = 1, ..., 7 (нормированность весов означает выполнение условия: ∑ w(i) = 1).

Тогда шкала числовых интенсивностей (Int) оценок ранговой шкалы получается на основе значений w(i) по формуле:

Int (i) = w(i) / w(7), (1)

Если обозначить через W = (w(7), w(6),…, w(1))T вектор-столбец нормированных весов оценок ранговой шкалы (T – обозначение матричной операции «Транспонирование», которая строку переводит в столбец), то имеет место основное уравнение МАИ:

A*W = λmax*W, (2),

где A – матрица парных сравнений (табл. 2), а λmax – важный числовой параметр теории МАИ, который, как и вектор-столбец W, требуется найти из нелинейного матричного уравнения (2). Точное решение (т.е. значения λmax и W) нелинейного уравнения (2) с учетом нормировки весов w(i) можно получить с помощью надстройки MS Excel «Поиск решения», что требует определенного уровня владения этим инструментом.

Точное решение уравнения (2) мы приведем ниже, а сейчас укажем один из простых алгоритмов на основе элементарных алгебраических операций, позволяющий найти приближенное значение (с точностью 0,01) элементов вектора W, опираясь на значения элементов матрицы A (см., например, [11; 12; 15; 28]).

Алгоритм состоит из 4-х этапов:

1) находим строчные произведения (p) элементов матрицы А (например, для первой строки А из табл. 2 получаем: p (1) = 11340, для второй строки p (2) = 2835 и т.д.);

2) из каждого полученного произведения извлекаем корень 7-ой степени (показатель корня совпадает с размером матрицы А). В результате получаем для первой строки q (1) = 3,795; для второй q (2) = 3,113 и т.д.;

3) находим сумму полученных корней S = q (1)+q (2)+…+q (7). Получаем S = 10,796;

4) находим веса w(i) по формуле: w(i) = q(i) / S.

В табл. 3 приводятся полученные с помощью указанного алгоритма приближенные значения весов w(i) и соответствующих интенсивностей Int(i) для 7-балльной шкалы.

Таблица 3. Приближенные значения весов и соответствующих интенсивностей для уровней 7-балльной шкалы

В табл. 4 приводятся точные значения весов w(i), полученные при решении уравнения (2) с помощью MS Excel и соответствующие интенсивности Int(i) для уровней 7-балльной шкалы.

Таблица 4. Точные значения весов и соответствующих интенсивностей для уровней 7-балльной шкалы

Как видно из приведенных результатов в табл. 3, 4, приближенные и точные значения практически совпадают (разница значений не больше 3-4%). Такой результат объясняется хорошей согласованностью экспертной информации, которая представлена матрицей парных сравнений A (табл. 2).

В рамках МАИ согласованность экспертных данных, представленных в матрице A, определяется через параметр λmax на основе значений величины ОС (Отношение Согласованности) по формуле:

ОС = ИС / СИ

В этой формуле: ИС = (λmax – n) / (n – 1) – Индекс Согласованности (n – размер матрицы А), а СИ – Случайный Индекс, который берется из соответствующей таблицы случайных индексов, в частности, СИ = 1,35 для случая n = 7 (см., например, [2; 15; 29]).

Для случая ОС = 0 – матрица A идеально согласована. Для случаев 0 < ОС ≤ 0,1 – принято считать, что матрица хорошо согласована (т.е. в этом случае ИС лишь в малой мере совпадает со случайным СИ – не более, чем на 10%).

Для рассматриваемого примера (табл. 2) значение λmax = 7,50 и соответствующее значение ОС = 0,06 (что означает хорошую согласованность матрицы А).

В практических исследованиях на первом этапе после формирования матрицы A следует найти значение λmax (приближенное или точное) и оценить соответствующее значение ОС.

Если экспертная матрица A не обладает хорошей согласованностью, то следует устранить причины несогласованности экспертных предпочтений и добиться хорошей согласованности матрицы А. Это можно делать различными средствами, добиваясь консенсуса в работе экспертов или путем привлечения более опытных экспертов (см., например, [15]). Кроме этого, существуют модификации МАИ, позволяющие сокращать в разы объем экспертной работы и при этом получать идеально согласованные матрицы парных сравнений, для которых вычисление точных элементов вектора W требует использования только элементарных алгебраических операций, как в приведенном выше алгоритме [12; 13].

Приведем теперь решение исходного примера (табл. 1), опираясь на числовые значения интенсивностей для оценок 7-балльной ранговой шкалы (табл. 4).

Обозначая среднее арифметическое значений интенсивностей для оценок пациента P1 через S1, а для P2, соответственно, через S2 и используя значения интенсивностей ранговых уровней из табл. 4, получаем с точностью до 0,01:

S1 = (8 * Int(6) + 3 * Int(4)) / 11 = 0,68; S2 = (8 * Int(5) + 3 * Int(6)) / 11 = 0,51

С учетом стандартной ошибки вычисления среднего получаем:

S1 = 0,68 ± 0,07; S2 = 0,51 ± 0,06

Таким образом, численное решение рассматриваемого примера, как и корректное ранговое решение, дают совпадающий клинический результат, а именно: состояние пациента P1 следует считать более тяжелым.

3. Замечания о метрической системе Раша и о критике психометрических инструментов

В качестве альтернативы психометрическим подходам, которые практикуют «числовой» взгляд на ранговые данные, а также используют процедуры преобразований на основе нормального распределения, Г. Раш (G. Rasch, [26; 27]) разработал вероятностный метрический подход к измерению латентных психосоциальных свойств. Английское название этого подхода Rasch Measurement, а в отечественной литературе (см., например, [1]) принято использовать название метрическая система Раша (МСР).

Классическая модель МСР была разработана для заданий с дихотомическими пунктами, равномерно возрастающей трудности, позволяющая оценить структуру теста и измерить уровень выраженности латентного свойства у респондентов.

МСР может использоваться в исследованиях практически любого свойства личности при условии его статистической устойчивости и клинически значимой наблюдаемости с помощью системы психосоциальных индикаторов. МСР включает технологию разработки тестов, а также математическое и программное обеспечение для оценки меры трудности заданий и уровня подготовленности испытуемых.

3.1. Трудности использования МСР

1. Практическая реализация МСР связана с достаточно большими выборками (сотни респондентов) и соответствующими объемами статистической информации, обработка которой требует специализированного математического и программного обеспечения.
2. Статистическое моделирование на основе МСР использует агрегированные данные, которые представляют информацию о характеристиках личности на уровне популяции. Но результаты обработки статистических данных трудно поддаются интерпретации на индивидуальном уровне, который является основным для психосоциальных приложений.

Возникающие проблемы при разработке и оценке характеристик тестов на основе МСР (например, известный парадокс Раша в рамках классической модели МСР – риск удаления из теста самых лучших его заданий) требуют для своего решения использования итерационных экспертных процедур.

3.2. О критике МСР

Так как часть критики психометрических инструментов (например, в работе [17]) была направлена на МСР, то сначала рассмотрим важный пример практического использования классической МСР, в качестве модели причин возникновения критики психометрических инструментов.

Разработчики известной экзаменационной системы ЕГЭ (Единый государственный экзамен) используют алгоритмы МСР (см., например, [9]) для пересчета «сырых» баллов в тестовые баллы и соответствующей оценки знаний испытуемых. При этом используется классическая модель МСР, в которой успех при решении заданий теста зависит только от двух переменных: уровня знаний испытуемого и трудности задания, которые подлежат оценке по результатам экзамена.

Но известно, что успешность любой деятельности человека существенно зависит еще и от его мотивации. Современные оценки результатов обучения и соответствующих когнитивных процессов показывают, что мотивация в несколько раз сильнее влияет на успешность деятельности, чем индивидуальные способности человека (например, [16]).

Далее, тест ЕГЭ (например, по математике, как в базовом, так и в профильных вариантах) включает и простые задания (арифметические, планиметрические), и более сложные (задачи на производную, умение строить математические модели, стереометрия). Отсюда на практике (и для базового, и для профильного вариантов) наблюдаются следующие стратегии поведения учеников (которых можно разделить на примерно равные численно группы): 1) первой группе математика нужна для продолжения инженерно-технического и математического образования, поэтому у них стратегия на получение максимального количества баллов; 2) вторая группа нацелена на получение аттестата и на гуманитарное образование и у них, соответственно, стратегия-минимум.

Кроме этого, организаторы ЕГЭ за счет результатов экзамена по всей стране (концепция статистического моделирования) пытаются статистически компенсировать указанные нарушения. Но, очевидно, учесть разные региональные, социально-экономические условия, влияющие на характеристики неравномерной подготовки учеников, при существующей форме проведения ЕГЭ невозможно. Очевидно, это также приводит к нарушению области применимости МСР, а также к валу критических замечаний по отношению к результатам ЕГЭ.

Рассмотренный пример показывает, что для оценки конкретного психометрического инструмента необходимо учитывать базовые концепции метода, определяющие область его применимости, а также правильно понимать основные математико-статистические процедуры, используемые для представления и обработки данных в рамках метода.

В этой связи приведем конкретные, существенные ошибки, допущенные при критике МСР в работе [17].

1) На стр. 5 этой работы можно прочитать (прямая цитата): «…Логистическое преобразование нужно, чтобы приблизить распределение баллов к нормальному, так как в модели Раша предполагается, что изучаемая латентная характеристика (черта, свойство) нормально распределена в популяции». Эта цитата показывает, что ее автор не понимает основные положения МСР и условия их реализации.

Действительно, сначала нужно заметить, что логистическое преобразование (функция) в МСР относится к функциональному соотношению между вероятностью правильного ответа на тестовое задание, подготовкой тестируемого и трудностью задания и никак не связано с каким-то нормальным распределением баллов в популяции. Более того, Г. Раш в своих работах [26; 27] выступал против использования нормального распределения Гаусса для данных, связанных с деятельностью человека, что в настоящее время получило веские подтверждения (см., например, [18]).

Что касается самого логистического преобразования, то Г. Раш [26; 27], исходя из общих свойств модели для оценки вероятности ответа i-го испытуемого на j-ое задание теста (P(i, j)), предложил функциональное соотношение в виде логистической функции:

P(i, j) = exp(bi – tj) / (1+ exp(bi – tj)), (3),

где: bi – уровень знаний i-го испытуемого, tj – уровень трудности j-го задания. Никакого отношения к нормальному распределению баллов в популяции логистическая функция (3) не имеет.

2) Обращаясь опять к работе [17], на стр. 6 находим элементарную ошибку при использовании логарифмической функции:

Ln (m1 / m2) = Ln (m2 – m1)

То есть автор «изобретает» новую алгебраическую формулу, считая, что логарифм отношения равен логарифму разности (причем еще и переставляя аргументы в разности!), вместо правильной формулы: логарифм отношения равен разности логарифмов.

Эту ошибку можно было бы списать на пропущенную опечатку, но через 3 строчки на этой же странице ошибка повторяется:

Ln (b1 / b2) = Ln (b2 – b1)

Используя такую формулу при b1 = b2, можно получить, что Ln (1) = Ln (0) или 0 = - ∞ !

Такие ошибки (концептуальная на стр. 5 и элементарные алгебраические на стр. 6) вызывают обоснованное сомнение в понимании автором [17] не только концепций МСР, но и элементарных алгебраических операций, составляющих аппарат МСР, поэтому критику МСР, представленную в указанной работе, следует признать несостоятельной.

3.3. О критике МАИ

В литературе существуют критические замечания, касающиеся концепций МАИ и аппарата МАИ. Подробно такие замечания, а иногда и «контрпримеры» логического и аналитического характера, доказывающие якобы несостоятельность концепций и аппарата МАИ, рассматриваются в работах [10; 15; 29]. В этих работах показано, что авторы критических замечаний очень поверхностно толкуют концепции МАИ (в частности, не понимают принципиальной разницы между дескриптивным и нормативным подходами МАИ и условиями их применения), а также делают элементарные ошибки при использовании аппарата МАИ. Самые распространенные ошибки не только в статьях, но и в учебных пособиях по МАИ описаны в работе [10].

Выводы

1. Решающим преимуществом метода МАИ в проблеме измерения и оценивания латентных характеристик является ясное представление структуры многофакторной проблемы, элементов проблемы и взаимозависимостей между ними на основе иерархической модели, а также числовое выражение суждений экспертов на основе фундаментальной шкалы МАИ.
2. Способы получения информации от эксперта в рамках МАИ соответствуют психологически комфортным условиям, отвечающим психофизическим возможностям человека перерабатывать информацию. Очень важным элементом аппарата МАИ является возможность оценки согласованности суждений экспертов с помощью индексов согласованности (ИС и ОС), которые позволяют судить о качестве экспертной информации. При этом обработка данных на основе алгоритмов МАИ не требует специализированных математических и программных средств, достаточно стандартных средств MS Excel.
3. Использование таких психометрических инструментов, как МАИ и МСР, позволяет получать корректные числовые оценки латентных характеристик человека. Критика этих инструментов связана с поверхностным пониманием основных концепций психометрических измерений и области их применений, а также с элементарными ошибками при использовании аппарата психометрических инструментов.

1. Аванесов В.С. Метрическая система Георга Раша – Rasch Measurement (RM) // Педагогические измерения. 2010. № 2. С. 57–80.
2. Андрейчиков А.В., Андрейчикова О.Н. Наука и искусство принятия решений. Кн. 2: Принятие решений в условиях неопределенности: от метода анализа иерархий до нечетких моделей. Учебник. М.: ЛЕНАНД, 2021. 800 с.
3. Ассанович М.А. Сравнительная оценка пороговых критериев выраженности депрессии, разработанных на основе классической теории тестов и модели Раша // Вестник ЮУрГУ. Серия «Психология». 2017. Том 10. № 1. С. 26–34. DOI:10.14529/psy170103
4. Ассанович М.B., Карпюк В.А. Психометрические свойства и диагностические критерии шкалы оценки негативных симптомов (SANS – Scale for the assessment of negative symptoms) при шизофрении // Обозрение психиатрии и медицинской психологии имени В.М. Бехтерева. 2021. Том 55. № 1. С. 33–41. DOI:10.31363/2313-7053-2021-1-33-41
5. Брук Б.Н., Бурков В.Н. Методы экспертных оценок в задачах упорядочения объектов // Известия АН СССР. Техническая кибернетика. 1972. № 3. С. 29–39.
6. Золотарева А.А. Психометрические свойства русскоязычной версии Шкалы воспринимаемого стресса (версии PSS-4, 10, 14) // Клиническая и специальная психология. 2023. Том 12. № 1. С. 18–42. DOI:10.17759/cpse.2023120102
7. Кукшина А.А., Котельникова А.В., Рассулова М.А., Дайлидович В.С. Исследование психометрических свойств «Госпитальной шкалы тревоги и депрессии» (HADS), рекомендованной для врачей общесоматической практики, на выборке пациентов с нарушением двигательных функций // Клиническая и специальная психология. 2023. Том 12. № 2. С. 1–24. DOI:10.17759/cpse.2023120201
8. Купцов М.И., Филипова Е.Е., Слободская И.Н., Павлова С.А., Корячко А.В., Жарких А.А. Математические методы в психологии. М.: Горячая линия-Телеком, 2017. 156 с.
9. Малинецкий Г.Г., Подлазов А.В. ЕГЭ как катализатор кризиса Российского образования // Вестник МГУ. Серия 20: Педагогическое образование. 2011. № 3. С. 18–59.
10. Митихин В.Г. К вопросу решения многокритериальных задач на основе метода анализа иерархий // Cloud of Science. 2015. Том 2. № 4. С. 519–529. URL: http://cloudofscience.ru
11. Митихин В.Г., Алиева Л.М., Ениколопов С.Н. Применение метода анализа иерархий для обработки данных исследования телесного образа «Я» у больных психическими расстройствами // Психиатрия. № 1(65). С. 29–32. DOI:10.30629/2618-6667-2015-65-29-32
12. Митихин В.Г., Солохина Т.А., Кузьминова М.В., Тюменкова Г.В., Лиманкин О.В., Бабин С.М. Эффективность психосоциальной реабилитации: инновационный метод оценки // Психиатрия. 2022. Том 20. № 2. С. 51–59. DOI:10.30629/2618-6667-2022-20-2-51-59
13. Ногин В.Д. Упрощенный вариант метода анализа иерархий на основе нелинейной свертки критериев // Журнал вычислительной математики и математической физики. 2004. Том 44. № 7. С. 1261–1270.
14. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006. 656 с.
15. Саати Т.Л. [Saaty T.L.] Принятие решений при зависимостях и обратных связях: Аналитические сети / Пер. с англ. М.: ЛКИ, 2008. 360 с.
16. Солодова Е.А. Новые модели в системе образования. Синергетический подход. М.: URSS, 2016. 344 с.
17. Тюменева Ю.А. Что дают числа для измерения в психологии? Обзор критики в адрес нетестируемых допущений психометрики и возможные альтернативы «измерительной» психологии // Психологические исследования. 2022. Том 15. № 84. С. 1–30. DOI:10.54359/ps.v15I84.1198
18. Хайтун С.Д. Количественный анализ социальных явлений. Проблемы и перспективы. М.: ЛИБРОКОМ, 2014. 280 с.
19. Шалагинова К.С., Декина Е.В., Клочнева Д.А. Эскапизм и видеоигровая аддикция у подростков // Психолого-педагогические исследования. 2023. Том 15. № 4. C. 97–110. DOI:10.17759/psyedu.2023150406
20. Bech P. Clinical psychometrics. Chichester, West Sussex: Wiley-Blackwell, 2012. 216 p.
21. Bond T.G., Fox C.M. Applying the Rasch Model: Fundamental Measurement in the Human Sciences. N.Y.: LEA, 2015. 406 p. DOI:10.4324/9781315814698
22. Kim S., Kim H., Suh H.S. Priorities in the Prevention Strategies for Medication Error Using the Analytical Hierarchy Process Method // Healthcare. 2022. Vol. 10. No. 3. P. 512–523. DOI:10.3390/healthcare10030512
23. Kopylov A.T., Stepanov A.A., Butkova T.V., Malsagova K.A., Zakharova N.V., Kostyuk G.P., Elmuratov A.U., Kaysheva A.L. Consolidation of metabolomic, proteomic, and GWAS data in connective model of schizophrenia // Scientific Reports. 2023. Vol. 13. No. 1. P. 21–39. DOI:10.1038/s41598-023-29117-7
24. Michell J. Measurement in psychology: Critical history of a methodological concept // Journal of Applied Measurement. 1999. Vol. 2. No. 1. P. 96–100.
25. Pfanzagl J. Theory of measurement. In cooperation with Baumann V. and Huber H. 2nd revised edition. Wurzburg–Wien: Physica-Verlag, 1971. 235 p.
26. Rasch G. Studies in mathematical psychology: I. Probabilistic models for some intelligence and attainment tests. Danmarks Paedagogiske Institut, 1960. 184 p.
27. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. Chicago & London, 1980. 199 p.
28. Saaty T.L. The Analytic Hierarchy Process. New York: McGraw Hill, 1980. 287 p.
29. Saaty T.L. On the Measurement of Intangibles. A Principal Eigenvector Approach to Relative Measurement Derived from Paired Comparisons // Notices of the American Mathematical Society. 2013. Vol. 60. No. 2. P. 192–208. DOI:10.1090/noti944
30. Schmidt K., Aumann I., Hollander I., Damm K., Graf J.-M. Applying the Analytic Hierarchy Process in healthcare research: A systematic literature review and evaluation of reporting // BMC Medical Informatics and Decision Making. 2015. Vol. 15. No. 1. P. 112–139. DOI:10.1186/s12911-015-0234-7
31. Uher J. Psychometrics is not measurement: Unraveling a fundamental misconception in quantitative psychology and the complex network of its underlying fallacies // Journal of Theoretical and Philosophical Psychology. 2020. Vol. 41. No. 1. P. 58–84. DOI:10.1037/teo0000176