Клиническая (экспертная) парадигма как основа нового типа методик клинической (медицинской) психодиагностики

Одним из самых очевидных и распространенных приложений психологии к практике является психологическая диагностика. При этом в отношении отечественной клинической (медицинской) психологии такого рода понимание (и, как следствие, использование) психологического знания в прикладном аспекте является, пожалуй, наиболее распространенным.

Одним из самых очевидных и распространенных приложений психологии к практике является психологическая диагностика. При этом в отношении отечественной клинической (медицинской) психологии такого рода понимание (и, как следствие, использование) психологического знания в прикладном аспекте является, пожалуй, наиболее распространенным. Однако среди всего многообразия подходов, методов и методик значительную долю все же составляет применение методик экспериментально-психологического исследования. В связи с этим следует отметить, что во многом такая ситуация обоснована положением, высказанным С.Я. Рубинштейн в фундаментальном по своему значению и влиянию труде «Экспериментальные методики патопсихологии»: «…развитие каждой области знания зависит от совершенства методов исследования и (…) эксперимент является более совершенным методом, чем наблюдение и описание». Однако следует заметить, что экспериментально-психологические исследования до сих пор являются доминирующими в структуре деятельности психодиагностических лабораторий и выполняются, в своем большинстве, с применением описанных С.Я. Рубинштейн методик и по описанным ею алгоритмам и технологиям. В тоже время сохраняет свою актуальность и другое высказанное ею мнение, что «…. Экспериментальный метод широко используется во всех областях медицины, однако в психиатрии эксперимент до последнего времени используется преимущественно во вспомогательных лабораторных разделах и крайне мало — для анализа собственно психопатологических явлений» (выделено нами – М.Б.). Думается, что этот вывод о необходимости более широкого использования методов психологии в клинической практике справедлив не только в отношении экспериментального метода, но и других составляющих методологии психологического исследования. Представляется, что дальнейшее развитие психодиагностических исследований в клинической практике во многом определяется особенностями современной ситуации в этой области.

С одной стороны, сохраняющаяся и даже несколько возрастающая «психодиагностическая» востребованность объясняется более традиционным подходом в психологической практике, опирающимся на значительные достижения отечественной и зарубежной психодиагностики и психометрики как динамично развивающихся отраслей психологии в целом.

 С другой стороны, и потребности практики, и частном случае –клинической практики, все больше ориентированы на получение данных, основанных не только на оценке, но и на измерении, причем результаты такого измерения должны быть сопоставимы на уровне объективных количественных данных, получаемых, например, при лабораторном инструментальном, аппаратном исследовании, с возможностью их использования в технологиях Evidence-based medicine. Очевидно, что экспериментально-психологические методы в сочетании с применением психометрически обоснованных психодиагностических методик наиболее близко соответствуют оформленным таким образом потребностям клинической практики. В связи с этим хотелось бы процитировать описанное В.В. Николаевой отношение С.Я. Рубинштейн к роли измерительных процедур в психодиагностике и психометрике «…считать можно, но нужно знать, что считаем. Только первоначально выполнив качественную психологическую работу, соотнеся феномен патологический с общепсихологическим, встроив его в современную психологическую конструкцию, можно считать» [11].

С третьей стороны, расширяется и сама область медицинской практики, нуждающейся в обеспечении надежным и валидным психодиагностическим инструментарием. Так, наряду с традиционно использующими для своих нужд психодиагностику неврологией, психиатрией и судебно-психиатрической экспертизой потребность в ней стали испытывать клиника внутренних болезней (и психосоматика, прежде всего), психиатрия-наркология, медико-социальная экспертная служба и многие другие медицинские отрасли. В связи с этим представляется обоснованным выделение медицинской психодиагностики как отдельного направления и, в определенном плане, отдельной области психодиагностики [8], в которой экспериментально-психологические (в том числе пато- и нейропсихологические) методы и методики занимают особое место.

Кроме того, представляется очевидной и потребность в расширении арсенала психодиагностического инструментария, релевантного актуальным задачам, поставленным клинической практикой перед современной медицинской психодиагностикой в целом, и основанной на экспериментальном методе патопсихологической диагностикой, в частности. Традиционными направлениями решения такого рода задач являются адекватная адаптация зарубежных методик и (или) создание оригинальных российских разработок.

Очевидные преимущества первого направления связаны не только с необходимостью интеграции отечественной психологии и психодиагностики в общемировые процессы, с курсом на распространение в российской психологии теорий, концепций и конструктов, зарекомендовавших за рубежом свою практическую целесообразность, но и с потребностью в диагностическом инструментарии, обеспечивающем кросс-культурный характер исследований в отечественной популяции. Кроме того, в клинической практике (и, как следствие, в медицинской психодиагностике) актуальна задача участия психологов-психодиагностов в верификации и квалификации многих психопатологических и иных клинических феноменов, установление которых является обязательным для вынесения диагноза психических и поведенческих расстройств в соответствии с утвержденными их классификаторами, в частности – DSM-V, ICD-10 (МКБ-10) и ICD-11 (в перспективе). Разумеется, можно привести и другие аргументы необходимости движения по пути адаптации существующих зарубежных методик. Например, необходима периодическая психометрическая проверка статистических норм ранее адаптированных и активно используемых в нашей стране методик (например, тестов MMPI, WISC, WAIS и т.п.), и, что представляется более актуальным –полномасштабная адаптация и внедрение их более современных версий (MMPI-2, WAIS-III, WAIS-IV, WAIS-R и т.п.).

В то же время задача создания оригинальных российских разработок представляется не менее актуальной. Аргументами этому служат не только международное признание и развитие достижений отечественной клинической психологии ХХ века (прежде всего - в нейропсихологии и нейропсихологической диагностике, см. пример Luria-Nebraska Neuropsychological Battery, LNNB и LNNB-CR), но и наличие специфических условий, объективно ограничивающих курс на исключительно адаптацию зарубежных методик. К числу таких условий относится, во-первых, очевидные и a priori существующие кросс-культурно обусловленные различия в интерпретации исследуемых в клинической (медицинской) психодиагностике феноменов. Например, представляется очевидной необходимость не только адаптации, но и разработки оригинального национального инструментария для изучения многомерных конструктов типа «качество жизни», «внутренняя картина болезни», «комплаенс» и т.п.. Действительно, существующие зарубежные и применяемые в России методики такого типа могут быть ограниченно валидными (прежде всего в отношении конструктной валидности) в силу естественных этно-культурных, социальных и т.п. различий в представлениях о самих исследуемых конструктах и их операционализации. Представляется, что безупречно адаптированные (с позиции требований психометрики) опросники качества жизни (например, ВОЗ КЖ-100; SF-36) тем не менее, могут ненадежно определять те составляющие конструкта «качество жизни», которые специфически отличаются в различных популяциях, в частности российской.

В связи с вышеизложенным представляется вполне обоснованным обратить внимание на развитие основанных на экспертном (клиническом) методе технологий разработки нового психодиагностического инструментария. Этот подход, рассматриваемый в методическом плане и как альтернатива, и как адекватное дополнение экспериментальному подходу [7, 8, 12].

Представляется, что в рамках экспертного («не-экспериментального») подхода следует различать, во-первых, экспертные (клинические) методы (наблюдение, беседа, интервью, анализ продуктов деятельности и др.), и, во-вторых, основанные на них т.н. экспертные технологии, в частности технологии формирования, сбора, обработки, анализа и многомерного представления экспертных оценок [12, 13, 14]. При этом основными «смежными» технологиями при этом могут являться психологические технологии извлечения знаний, Data Mining [9, 18] и инженерии знаний, Кnowledge Еngineering [17, 19], в том числе в целях создания современных компьютерных психодиагностических комплексов экспертного класса в медицинской психодиагностике как в целом [5, 15, 16], таки при решении отдельных задач [3, 4].

Очевидно, что описываемые феномены опираются на экспертность как феномен («экспертный подход», «экспертные методы», «экспертные знания», «эксперт» и др.) и представления об эксперте как носителе экспертного знания. Наиболее обобщенные представления об эксперте (от лат. expertus — опытный) опираются на мнение, что это «специалист, приглашаемый для выдачи квалифицированного заключения или суждения по вопросу, рассматриваемому или решаемому другими людьми, менее компетентными в этой области». В юриспруденции проводится не только различение между экспертом и специалистом (в процессуальном плане это совершенно разные статусы профессионалов), но и дается иное толкование термина «эксперт»: лицо, обладающее специальными знаниями, привлекаемое для проведения экспертизыи вынесения заключения по вопросам, требующим применения специальных познаний. Отметим, что такого рода юридическая квалификация в целом соотносится с описанными выше представлениями об экспертном подходе и «экспертном» знании (познаниях). Продолжая «юридическую» плоскость в области экспертных методов, следует отметить, что исследования с участием экспертов (экспертное исследование, экспертиза) оформляется мотивированным заключением эксперта, в котором описывается ход исследования и даются ответы на поставленные вопросы, а само заключение доказательно свидетельствует о наличии / отсутствии тех или иных фактических данных, рассматриваемых в связи с тем или иным поставленным перед экспертом вопросом (задачей).

Если переложить вышеперечисленные положения из этой плоскости в клинико-психологическую плоскость, то представляется, что все основные «юридические» контексты имеют аналогичный вид и значение. Действительно, любое клиническое (врачебное диагностическое или психодиагностическое) исследование проводится лицом, имеющим специальные познания (у каждого – в своей предметной области), в итоге завершается заключением (в частном случае – диагнозом, планом лечения, выводом по результатам психодиагностики и т.д.). Вынесение такого рода заключения мотивируется определенными аргументами (например, соотнесением с критериями DSM, МКБ и другими классификаторами либо с данными инструментальных исследований или нормами психодиагностических методик и правилами их интерпретации и т.д.). В любом психологическом заключении описывается ход проведенного исследования и приводятся клинико- или экспериментально-психологические, тестовые и иные данные, доказательно фиксирующие наличие либо отсутствии тех или иных клинически значимых фактов, рассматриваемых в связи поставленными перед психологом-психодиагностом задачами.

Центральным в такой ситуации является вопрос обретения и использования экспертного знания. Представляется не вызывающим сомнений и возражений мнение, что профессиональный рост специалиста прежде всего связан ( в контексте вышеизложенного) с развитием его экспертных знаний и совершенствованием индивидуальных способов его использования при решении профессиональных задач. Эффективность профессиональной деятельности в целом, и при решении задач психологической диагностики, в частности, может определяться мерой осознанности экспертного знания и способности к его вербализации. С позиции когнитивной психологии и инженерии знаний этот тезис отражает способность эксперта адекватно репрезентировать в индивидуальном сознании феноменологию изучаемого явления во всем многообразии его связей, а также работать с полученной таким образом моделью исследуемого объекта. В частном случае такая модель представлена системой понятий предметной области (в нашем случае – клинико-психологическими и психодиагностическими категориями, понятиями, терминами) и фиксированными семантическими связями между ними.

Такой подход, с одной стороны, совершенно не нов с методологических позиций. Еще С.Я. Рубинштейн считала и неоднократно заявляла о том, что анализ генеза и механизмов функционирования психики в норме и при ее нарушениях возможен только после психологической квалификации клинических явлений в понятиях современной психологии [11]. Именно категориально понятийная квалификация клинико-психологических явлений с установлением связей между ними в норме и при нарушениях психической деятельности составляет ядро экспертного знания. С другой стороны, такого рода экспертное знание зачастую навсегда остается исключительно в пользовании самим экспертом. Исключение представляют, наверное, лишь научно-педагогические работники, которые обязаны распространять не только «стандартные» знания, дидактику современного профессионального образования, но и «преломлять» их через собственный опыт[1]. Как следствие, возникает необходимость выявления, извлечения, «добычи» этого экспертного знания с целью его возможного тиражирования в целях обучения и повышения квалификации других специалистов, не обладающих пока таким знанием.

В психологической диагностике такой подход реализовался в виде т.н. компьютерных психодиагностических комплексов экспертного класса («компьютерных психодиагностических систем»). Наибольшие достижения в этой области в последнем десятилетии ХХ века и первые годы ХХI века связаны с деятельностью Лаборатории клинической психологии и психодиагностики Санкт-Петербургского Психоневрологического научно-исследовательского института им. В.М. Бехтерева (руководитель – проф. Л.И. Вассерман) и в Лаборатории «Гуманитарные технологии» (руководитель – проф. А.Г. Шмелев). Были созданы и распространялись компьютерные психодиагностические методики и комплексы экспертного класса, широко использовавшиеся психологами, в том числе при проведении медицинской психодиагностики. Однако, к сожалению, в последние годы практически не проводится работа в этом направлении, а публикации по тематике компьютерных технологий психологической диагностики, основанной на экспертном подходе, представлены буквально в единичном виде.

Представляется, что представленные выше аргументы обосновывают необходимость развития клинического (экспертного) направления в медицинской психодиагностике.

В связи с этим считаем целесообразным сформулировать несколько положений, определяющих направления и перспективы такого рода работы.

Известно, что конструктная валидность относится к числу наиболее информативных характеристик психодиагностических методик. Для ее определения необходимо полно (насколько это возможно) описать переменную (конструкт), для измерения которой предназначен тест [1]. Такое описание проводится в виде гипотез о результатах теста в свете всех известных об этой переменной сведений. В психометрике конструктная валидность рассматривается в качестве краеугольного метода подтверждения валидности методики в целом. Наибольшее значение этот тезис приобретает для методик, в отношении которых не установлены какие-либо критерии обоснованности создания теоретического конструкта (отметим, что именно к таким и относятся большинство клинико-психологических феноменов, теоретические представления о которых весьма вариативны, а обоснования их интерпретации часто достаточно субъективны).

Представляется очевидным, что для клинической (медицинской) психодиагностики решение задачи обеспечения валидности методик связано с разработкой и использованием методических подходов и приемов, аналогичных применяющимся в психометрике при оценке конструктной валидности экспериментальных и тестовых методик. Такие подходы требуют в первую очередь, разработки технологий и методик создания адекватных моделей диагностируемых клинических конструктов (и частных переменных в их составе) и их совокупностей.

С одной стороны, такой подход требует сложной работы разработчиков методик с экспертом-психодиагностом, носителем профессионального опыта и психологической интуиции в диагностике (фактически – диагностике-распознавании, от лат dia – рас- и gnosis– познание) исследуемого конструкта. С другой стороны, результатом такой работы должна являться система достаточно строгих и сформулированных в явной форме моделей объекта психологической диагностики и системы диагностических правил, опирающихся на качественные и(или) количественные данные, другие результаты измерения, приведенные к более или менее стандартизованному виду. Отметим, что определенным подтверждением правильности такого рода точки зрения на перспективы развития медицинской психодиагностики является мнение о том, что глубокий экспертный анализ является необходимым первым этапом в разработке всякой стандартизованной процедуры [7]. Основным содержанием такого экспертного анализа является, прежде всего, исследование модели диагностируемого в рамках клинического метода клинического же феномена (как своеобразного эталона для последующего сравнения с ним реального случая). В определенном смысле речь идет о формулировании описания конструкта (многомерной клинико-психологической переменной), необходимого, в частности, для определения конструктной валидности. При этом следует помнить мнение П. Клайна (1994) о том, что при интерпретации результатов исследования конструктной валидности также имеются элементы субъективности, что сближает стандартизованные и экспертные методы в части оценки объективности – субъективности их результатов.

Процедурно такого рода экспертный анализ относится к сфере компетенции инженерии знаний («Knowledge Engineering»). При этом центральной проблемой является извлечения, структурирование, представление и обработка приобретенных знаний у специалиста определенной предметной области (эксперта по терминологии Knowledge Engineering ).

Современная клиническая медицина рассматривается как модель предметной области, в которой до конца еще не произошло замещения ее основной характеристики «медицина как искусство» на «медицина как технология». Такое положение позволяет рассматривать ее как пример «нечеткой предметной области», в которой решение задач в значительной степени определяется закономерностями не формальной логики, а аппаратом т.н. «нечетких» логик. При этом сами медицинские явления (симптомы, синдромы, заболевания) отличаются высокой вариативностью, что в значительной степени оставляет клинику за пределами интереса математики как науки, строго описывающей феномены конкретной предметной области.

Применительно к задачам клинической (медицинской) психодиагностики отметим, что в структуре клинической медицины отмечается большая вариативность характеристик «четкости – нечеткости» различных ее отраслей. По определению, область нарушений психического здоровья является наиболее «размытой» (по сравнению, например, с радиологией, хирургией или патологической анатомией, опирающихся в большей или меньшей мере на объективные измерительные данные об морфологических изменениях в организме). В психиатрии в подавляющем большинстве случаев отсутствуют доступные измерению изменения субстрата психической болезни, да и оценка доступных наблюдению проявлений психических расстройств в значительной степени вариативна. Кроме того и среди психических расстройств отмечается значительная вариативность «четкости – нечеткости» заболеваний (с например, от максимально объективизируемой эпилепсии или деменции до трудно квалифицируемых неврозов, пограничных психических расстройств или нарушений адаптации)

С другой стороны, само содержание медицинской диагностики (и психодиагностики, в частности) как «различительного познания» или «распознавания» до сих пор опирается не на строгие (преимущественно измерительные методы), а на субъективные оценки и критерии, по результатам которых формируются различные выводы. В их числе: определение класса заболевания («нозологическая диагностика»), различение объектов разных классов («дифференциальная диагностика заболеваний»), определение динамики наблюдаемых изменений объекта исследования («клиника течения заболевания» и т.п.). Решение подобных задач имеет определенные математические аналоги (например, теория распознавания образов, ТРО). Первоначально ТРО являлась особым разделом информатики и кибернетики и представляла собой математические теории построения правил классификации, что позволило относительно быстро использовать ее в качестве одной из общетеоретических основ медицинской диагностики в целом и психодиагностики в медицине, в частности [8]. Преимущественно использовались построенные на основе ТРО решающие правила, позволяющие принимать решения об отнесении испытуемого к тому или иному диагностируемому классу на основе определения меры его сходства – различия с диагностическими эталонами. В рассматриваемом нами случае диагностическими эталонами могут выступать модели, сформированные на основе знаний эксперта, «извлеченных» с привлечением Knowledge Engineering. При этом в процессе «извлечения знаний» либо «приобретения знаний» (Knowledge Acquisition) возникает целый ряд сложных, порой негативных феноменов (аналогичных известному феномену «сопротивления» у психотерапевтического пациента), что, в частности, отражено в отдельной психологической концепции извлечения экспертных знаний [16].

Другой задачей обработки результатов экспертного анализа знаний эксперта является получение системы решающих правил, позволяющих дифференцировать диагностируемый объект с соблюдением психометрических критериев надежности и валидности.

Строго говоря, задача медицинской диагностики (и медицинской психодиагностики, в частности) представляет собой пример необходимости надежного и валидного распознавания и дифференцирования объектов-заболеваний в системе некоторой медицинской классификации. Решение этой задачи требует создания и (или) использования своего специфического математического аппарата.

Современная ситуация клинической (медицинской) диагностики и психодиагностики характеризуется довольно высокой долей влияния экспертного субъективизма врачей и медицинских психологов на результаты диагностики заболеваний. На этом основании в психологической диагностике, например, выделено отдельное, самостоятельное направление – клинический (экспертный) метод получения и анализа информации (экспертных оценок). Поэтому большое внимание необходимо уделять математическим основам предварительной обработки данных, позволяющих повысить меру объективности субъективных по природе оценок экспертов. При этом сами экспертные оценки, несмотря на их преимущественно количественное (балльное) выражение (подразумевающее как бы интервальный характер их значений) являются фактически оценками двух видов. Это либо частные случаи результатов процедур измерения по определенным измерительным шкалам (причем по шкалам не мощнее порядковых), либо выражение результатов т.н. «стандартизированного аналитического наблюдения» эксперта, как правило, в виде отметок на континууме биполярных шкал, отражающих, фактически, результаты рейтингования объектов экспертного оценивания [12]. Известно, что математический аппарат обработки такого рода результатов имеет определенные ограничения [2].

Кроме того, отдельной проблемой исследования является использование математических методов оценки конкордации экспертных оценок. Последняя проблема весьма актуальна в клинической медицине и психиатрии, в особенности, поскольку зачастую диагноз, вынесенный одним коллективом врачей, не совпадает с диагнозом, поставленным их коллегами. Рассогласования подобного рода могут возникнуть не только между различными коллективами специалистов, но и даже между экспертами, работающими в одном коллективе. Между тем, численность такого коллектива, как правило, незначительна (например, из-за ограниченности штатного расписания отделений современных больниц). В силу этого оценка согласованности – рассогласованности экспертных оценок малого коллектива экспертов приобретает особое значение. Для решения этой проблемы следует использовать специальные методы многомерного анализа экспертных оценок.

Описанные выше особенности предметной области и метода получения и анализа данных выводят клиническую (медицинскую) психодиагностику в разряд экспертных методов, т.е. методов, отражающих исключительно субъективный опыт и знания специалистов-экспертов, принимающих участие в диагностике психических расстройств как объектов предельно «размытой» предметной области. Отметим, что в других, более «четких» областях медицины существуют экспертные диагностические системы (т.н. «ассистенты»), позволяющие с достаточно высокой долей уверенности принимать диагностические решения.

Таким образом, представленная выше точка зрения, обосновывает, на наш взгляд, необходимость и актуальность разработки психодиагностических методик нового («экспертного») типа для решения задач клинической (медицинской) психодиагностики. Такого рода необходимость продиктована:

·  наличием объективных и субъективных оснований для сочетания клинического (экспертного) метода с экспериментальным в качестве взаимодополняющих методов исследовании клинических феноменов в различных областях медико-психологической науки и практики;

·  наличием достаточно большого числа экспертов как специалистов смежной предметной области «клиническая (медицинская) диагностика и (психо)диагностика)», обладающих определенным запасом профессиональных знаний, профессионального опыта и профессиональной интуиции для решения задач этой предметной области;

·  представлениями о предметной области «клиническая (медицинская) диагностика и (психо)диагностика)» как о «нечеткой», «нестрогой», «размытой» предметной области;

·  необходимостью создания психодиагностической модели «нечеткой» предметной области в форме многомерной клинико-психологической переменной как аналога теоретического конструкта для оценки конструктной валидности психодиагностической методики.

·  необходимостью применения методов извлечения знаний в рамках «Knowledge Engineering» в целях создания психодиагностической модели «нечеткой» предметной области в форме многомерной клинико-психологической переменной;

·  необходимостью разработки (адаптации) метода сбора, обработки и объективизации экспертных оценок как исходного массива данных для создания модели объекта клинической (медицинской) психодиагностики;

·  необходимостью разработки (адаптации) метода сбора, обработки и объективизации экспертных оценок как исходного массива данных для разработки алгоритма дифференциальной психодиагностики объектов «нечеткой» предметной области;

·  необходимостью реализации результатов сложного многоэтапного процесса создания нового типа методик для медицинской и клинической психодиагностики (в том числе и в форме компьютерных методик, включая методики класса экспертных психодиагностических систем).

[1] Автор надеется быть правильно понятым читателем, но в инженерии знаний известен  т.н. «парадокс эксперта»  –  чем выше уровень квалификации эксперта, тем зачастую меньше его способность объяснить что, как и почему он это делает так или иначе (см., например,  Червинская, 2002)

1. Батурин Н.А., Мельникова Н.Н. Технология разработки тестов: часть I //Вестник ЮУрГУ. Серия "Психология". 2009. Вып. 6. - С. 4-14
2. Беребин, М.А. К вопросу о качественном и психометрическом подходах в современной нейропсихологической диагностике / М.А. Беребин, А.В. Астаева // Вестник ЮУрГУ. Серия «Психология». – 2008. – Вып. 2. – №32 (132 ).– С. 19–28.
3. Беребин, М.А. Применение методов распознавания образов и экспертных оценок для психологической диагностики нарушений психической адаптации (на модели астенических расстройств) / М.А. Беребин, И.А. Скоробогатова, А.В. Щеголеватый // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». - 200б. -Вып. 4. - № 14. - С. 1-40
4. Беребин, М.А. Разработка алгоритма табличного метода дифференциальной диагностики органического расстройства личности и его реализация в форме компьютерной экспертной системы / М.А. Беребин, А.Ю. Рязанова // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». -2008. - Вып. 7. - № S. - С. 51-5S. 
5. Беребин, М.А. Экспертный метод, математические методы обработки экспертных оценок и технологии извлечения знаний как методы разработки новых методик медицинской психодиагностики / М.А. Беребин //ЮУрГУ. Серия «Психология». - 2009. -Вып. 4. - № 5 (138). - С. 10-14.
6. Беребин М.А. Методология и практика разработки методик клинической (медицинской) психодиагностики на основе применения экспертного метода, методик обработки экспертных оценок и методов многомерного анализа данных. Вестник ЮУрГУ. Серия «Психология». - 2010. - Вып. 10. - № 27 (20S). С. 9-12.
7. Бодалев А.А. Столин В.В. Аванесов В.С. Общая психодиагностика. СПб.: Изд-во «Речь», 2000. -440 стр.
8. Вассерман, Л.И. Медицинская психодиагностика: теория, практика и обучение / Л.И. Вассерман, О.Ю. Щелкова. – СПб.: Филологический факультет; М.: Издательский центр «Академия», 2003. – 736 с.
9. Витяев Е.Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов: Моногр. / Новосиб. гос. ун-т. Новосибирск, 2006, 293 с.
10. Клайн, П. Справочное руководство по конструированию тестов / П. Клайн. – Киев, 1994
11. Николаева В.В. С.Я. Рубинштейн: о вкладе развития патопсихологии [Электронный ресурс] // Клиническая и специальная психология. 2012. № 1. URL: https://psyjournals.ru/psyclin/2012/n1/49977.shtml (дата обращения: 16.09.2016)
12. Основы психодиагностики. Учебное пособие для студентов педвузов / под общ. редакцией А.Г. Шмелева — Москва, Ростов-на-Дону: «Феникс», 1996
13. Шмелев, А.Г. Психодиагностика черт личности /А.Г. Шмелев. - СПб.: Речь, 2002. -480 с.
14. Шмелев А. Г. Согласование экспертных оценок с помощью Интернет-технологии шкалирования // Сборник Экспертиза в современном мире: от знания к деятельности". — Смысл Москва, 2006. — С. 175–185.
15. Червинская, К. Р. Медицинская психодиагностика и инженерия знаний / К. Р. Червинская, О.Ю. Щелкова. - М. : Издат. центр «Академия», 2002. - 624 с.
16. Червинская, К.Р. Психологическая концепция извлечения экспертных знаний на моделях медицинской психодиагностики / К.Р. Червинская // Вестник ЮУрГУ. Серия «Психология». – 2008. – Вып. 2.– №32 (132).– С.68–80.
17. Червинская, К.Р. Психологические основы инженерии знаний: учеб. пособие / К.Р. Червинская. - СПб.: Фак. психологии СПбГУ, 2009. - 148 с. 
18. Червинская, К.Р. Психология извлечения экспертных знаний субъектов труда: автореф. дис. ... д-ра психол. наук / К.Р. Червинская. - СПб., 2010. - 46 с.
19. Velichkovsky B. M., Shmeljov A. G. Psychological tools of knowledge engineering // Technological change process and its impact on work. Ed. by R.A. Roe, M. Antolovits, E. Dienes. — Budapest TU: HCCWP & ENOP Budapest, Hungary, 1991