Разработка психологического теста для диагностики способностей, необходимых для успешного обучения на медицинских специальностях

В статье обосновывается необходимость психологического инструментария, направленного на диагностику способностей для успешного обучения в медицинском вузе, и показывается ход его разработки. Методика разрабатывается на основе американских и европейских тестов на успешность и соответствует по своей конструкции известному «Тесту для медицинских специальностей» (ТМС). «Костромской тест для медицинских специальностей» (КТМС) не является переводом или адаптацией ТМС к русским условиям. Он будет заново сконструирован при помощи новых заданий, исходя из принципов классического тестового конструирования. Создание научно обоснованных методик психологической диагностики общих познавательных способностей является необходимым условием успешного решения широкого круга исследовательских и практических задач, связанных с повышением эффективности общеобразовательной и профессиональной подготовки.

В современных условиях реформирования образования, появления новых форм обучения, методик и технологий важнейшей задачей психологии является исследование психологических факторов и закономерностей успешности учебно-познавательной деятельности. Это может послужить опорой для создания объективных методик, направленных на диагностику и формирование познавательных способностей в процессе учебной деятельности.

В российской психологии накоплен большой объем фундаментальных знаний по проблеме способностей в трудах П.П. Блонского, Л.С. Выготского, П.Я. Гальперина, В.И. Дружинина, С.Л. Рубинштейна, А.Н. Леонтьева, Н.С. Лейтес, В.И. Мясищева, В.Д. Шадрикова, О.В. Соловьевой и др. И все же проблема способностей остается актуальной и в наши дни. Большую роль в изучении диагностики специальных способностей сыграли исследования таких ученых, как Б.Г. Ананьев, М.Г. Давлетшин, Т.С. Кабаченко, В.И. Киреенко, А.И. Китов, А.Г. Ковалев, В.А. Крутецкий, Л.Д. Кудряшова, Н.В. Кузьмина, Н.Д.Левитов, Б.М. Теплов, Л.И. Уманский, П.М. Якобсон и др. Их исследования показали, что способности существуют не сами по себе, а только в соответствующей конкретной деятельности человека.

Мы предполагаем, рассуждая с позиций системного и деятельностного подходов, что необходимо создание таких методик, которые способны изучать комплекс специальных способностей, влияющих на успех в конкретном виде деятельности.

В частности, обучение в медицинском высшем учебном заведении предполагает наличие неких специальных качеств и способностей [16]. Однако система приема студентов в медицинские вузы не предполагает замера этих характеристик. В условиях превосходства числа абитуриентов над числом бюджетных мест возможна и необходима качественная система отбора. В США и в некоторых странах Европы для этих целей используется «Тест для медицинских специальностей» (ТМС) [16].

В 1970-х гг. Г. Тростом и его коллегами научно-эмпирическим путем был выделен ряд специальных способностей, влияющих на академическую успешность студентов-медиков:

• способность вычленять часть из сложного изображения;
• способность решать логические задачи;
• способность воспринимать и оперировать объемными объектами в пространстве;
• математические способности;
• способность понимания естественно-научного текста;
• способность запоминания зрительных образов на продолжительное время;
• способность запоминания фактов на продолжительное время;
• способность понимания сложных диаграмм и таблиц;
• способность удерживать высокую концентрацию внимания на длительное время.

Именно эти способности легли в основу теста, который используется европейскими медицинскими университетами, постоянно совершенствуясь в новых изданиях [16]. Параллельно с ТМС в период с 1981 г. по 1995 г. Х.-В. Гессманном был разработан Т-ТМС (тренировочный тест для медицинских специальностей), который предназначался для подготовки к ТМС [11]. В результате длительных исследований Г. Троста и его коллег было выявлено, что именно измеряемые тестом показатели имеют высокие корреляционные показатели с успешностью при обучении на медицинских специальностях [17]. Далее, по поручению Постоянной конференции министров образования Германии (1978 г.) ТМС был сконструирован заново для того, чтобы охватить все возможные показатели пригодности к обучению и применяться в дополнение к экзаменационной оценке в качестве критерия к допуску в рамках ограниченного набора на специальности в Германии [12]. Цель заключалась в том, чтобы как можно более объективно и надежно оценить индивидуальную пригодность к обучению с помощью специального психологического теста. Важно отметить, что возможную успешность в профессиональной деятельности данный тест не определяет.

та медицинских специальностей университетов. При этом с течением времени он обновлялся, каждый год появлялась новая редакция теста. Применение теста прекратилось тогда, когда количество претендентов на медицинские специальности больше не превышало количества учебных мест, и высокие затраты, связанные с применением этого теста, оказались уже неоправданными [18].

Так как количество претендентов на учебные места по данной специальности в последнее время снова возросло, медицинский тест снова был введен. Однако каждый претендент на учебное место может принять участие в этом тесте только один раз. В итоге, в расчет принимаются как результат теста, так и экзаменационные показатели. Каким точно является это соотношение, решает каждый университет самостоятельно. Но в любом случае тест обладает меньшим значением по сравнению с оценкой за экзамен [18].

Проводимая нами работа посвящена изучению способностей, влияющих на успешное обучение в медицинском вузе, и разработке психологического инструментария для диагностики этих способностей.

Разрабатываемый нами инструментарий носит название «Костромской тест для медицинских специальностей» (КТМС). КТМС соответствует по своей конструкции известному «Тесту для медицинских специальностей» (ТМС), который вот уже несколько десятилетий успешно применяется западными университетами [13]. КТМС не является переводом или адаптацией ТМС к русским условиям. Он будет заново сконструирован при помощи новых заданий, исходя из принципов классического тестового конструирования.

КТМС состоит из 9 подтестов, т. е. однотипные задания объединены по группам. Пять подтестов (часть А) прорабатываются в первой половине дня, оставшиеся четыре (часть Б) – во второй половине дня. К каждому подтесту прилагается краткое указание к работе, в котором поясняется, на проверку каких способностей направлен данный подтест и каким образом его нужно прорабатывать. КТМС наполнен зрительными образами и текстовыми заданиями. Измеряемые тестом характеристики отражены в названиях подтестов (табл.).

Все задания сконструированы по принципу множественного выбора. После каждого задания предлагаются пять вариантов ответа (А–Д), из которых нужно выбрать лишь один. Внутри подтеста задания расположены по степени возрастания трудности. Временные рамки проведения тестирования строго регламентированы [2; 3; 5].

Как пишет В.С. Аванесов (2000), современный тест – это не только надежный, но и валидный тест, однако не на все случаи жизни, а разработанный для конкретной цели; а современный психологический тест – это теоретически и эмпирически обоснованная система высказываний (заданий), позволяющая получить измерения соответствующих психологических свойств [2]. Тестирование развивалось и продолжает развиваться нарастающими темпами, оказывая эффективное содействие в решении все более широкого круга вопросов в различных сферах повседневной жизни. В наши дни тесты являются наиболее развитой в научном отношении частью методического арсенала, позволяющего адекватно соотносить теорию с эмпирикой. Именно такое понимание тестов все в большей мере начинает утверждаться в новейшей отечественной и зарубежной литературе [1]. Этого мнения придерживаются в своих работах такие ученые, как А. Анастази, Л.Ф. Бурлачук, М.М. Кабанов, Б.В. Кулагин, А.Е. Личко, В.М. Мельников, Д.Я. Райгородский, В.М. Смирнов, Л.Т. Ямпольский, A. Binet, H.-W. Gessmann, G. Lienert, U. Raatz, G. Trost и др.

С помощью КТМС можно будет судить о степени развития способностей, которые необходимы для успешного обучения на медицинских специальностях российского вуза. Кроме того, стоит отметить возможность использования КТМС для составления индивидуальных тренинговых программ, так как результат тестирования указывает на способности, которые находятся на недостаточном для обучения на медицинских специальностях уровне развития [17]. Составление таких развивающих программ – дело будущего. Это станет возможным, когда тест будет полностью сконструирован и проверен на объективность, надежность, валидность [1].

Психологический тест – это, прежде всего, инструмент измерения. Любой инструмент измерения имеет погрешность. Другими словами, любой психологический тест имеет ошибки измерения, от степени которых зависит качество измерительного инструмента. Цель разработчика тестового испытания – свести к минимуму погрешность, повысив тем самым качество теста. Эта цель достигается посредством конструирования качественных тестовых заданий, которые должны соответствовать необходимым критериям. На данном этапе мы посвятили свою работу анализу и конструированию заданий для КТМС.

Сегодня создание качественных тестов реализуется в рамках двух базовых подходов: 1) классический подход (классическая тестовая теория – КТТ) обеспечивает начальный этап создания, а также оценку качества тестов; 2) современная теория вероятностных тестовых ответов (IRT), позволяющая получить устойчивые оценки латентных параметров испытуемых и трудности тестовых заданий и поддерживающая конструирование тестов на продвинутом этапе. Важно отметить, что применение математического аппарата обеих этих теорий целесообразно только при грамотно сформированной таксономии целей тестового контроля и удовлетворяющих ей тестовых заданиях [9].

Вопреки часто встречающейся точке зрения, теория вероятностных тестовых ответов является не альтернативой классической тестовой теории, а, скорее, дополнением к ней [13]. Разработка КТТ приписывается психодиагностике: с ее помощью можно оценить верную чеканку (истинное тестовое значение) охватываемого признака на основе реакций в нескольких тестовых заданиях и определять измерительную точность (надежность) результата испытания. Более того, с помощью надежности или стандартного отклонения можно указывать доверительный интервал (Confidence interval) для истинного тестового значения.

Более гибкий подход основан на взаимодействии этих теорий. Основная цель состоит в разработке математической модели процесса тестирования, параметрами которой, подлежащими определению, служат различные характеристики участников тестирования и самого теста. В настоящее время IRT представляет собой довольно обширную и, к сожалению, непростую теорию, активно использующую разнообразный арсенал математических методов. Поэтому зачастую целесообразно бывает использовать сочетание двух упомянутых теорий. С помощью статистических методов классической теории проводится первичный анализ качественных характеристик полученного варианта теста, а с помощью IRT – более углубленный анализ характеристик тестовых заданий. Наиболее эффективным использование IRT становится при сформированном банке тестовых заданий, что обеспечивает возможность автоматической генерации тестов, с определенными, наперед заданными и научно обоснованными характеристиками точности и надежности [9].

Вне зависимости от выбранной концепции существенным моментом в тестологии является начальный этап конструирования, на котором происходит формирование целей создания тестов. Этап целеполагания – наиболее трудный и вместе с тем наиболее важный: от результатов его выполнения зависит, в первую очередь, качество содержания теста, или содержательная валидность, выступающая базовым качественным критерием как для критериально ориентированных, так и для нормативно ориентированных тестов [9].

При конструировании КТМС мы опираемся на положения классической теории тестового конструирования (Ч.Э. Спирмен) по той причине, что мы не располагаем достаточной выборкой для использования Теории вероятностных ответов (IRT). IRT работает с большими цифрами и требует привлечения довольно сложного математикостатистического аппарата, разработки специальных программных продуктов и использования компьютерной техники. Кроме того, важно отметить, что в настоящие дни классическая теория тестового конструирования является наиболее используемой [15]. Основное количество всех известных психологических (и не только) тестов были сконструированы при помощи КТТ (их около 10 000) [15]. Лишь незначительное количество психологических тестов было сконструировано с использованием теории вероятностных ответов (IRT). Например: «Адаптивная интеллектуальная диагностика» (AID); «Игральные кубики (Free Dimension Cubes)»; «Венская Матрица Форманна» (WMI) [9].

При использовании КТМС для прохождения тестирования абитуриент не должен обладать знаниями в сфере медицины, поэтому в нашу выборку мы отобрали студентов в самом начале их обучения.

В апробации первой версии теста согласились принять участие студенты I курсов (2011 г.) Ярославской медицинской Академии.

Целями первого этапа работы были проведение первой ревизии теста (КТМС «Ревизия 1») и анализ тестовых заданий. Анализ заданий позволяет сократить тест и в то же время повысить его валидность и надежность. При прочих равных условиях более длинный тест является более валидным и надежным, чем короткий [2].

Нами были теоретически изучены основы тестового конструирования, а именно: понятие и разновидности психологического теста, развитие теории и практики тестового конструирования в отечественной и зарубежной психологии, основные теории тестового конструирования, а также сущность анализа заданий при тестовом конструировании. Статистический анализ показал, что тест нуждается в ревизии заданий.

На основе эмпирического исследования были проведены селекционный анализ и коррекция заданий КТМС, результатом чего стал измененный тест КТМС «Ревизия 1». Изменены были задания всех субтестов, кроме группы испытаний «Концентрированная и тщательная работа», распределение тестовых баллов по которым, как и предполагалось, имеют вид нормального распределения Гаусса (при p>0,05). Данную тенденцию можно увидеть и на графике (рис.). Селекционный анализ на основании данных апробации КТМС «Ревизия 1» показал, что 17 % заданий имеют равное распределение альтернативных ответов (дистракторов) при допустимом отклонении 5 %. Это означает, что качество тестовых заданий КТМС относительно работы дистракторов повысилось на 15 %, но тест нуждается в следующей ревизии, так как около 83 % заданий все еще нуждаются в корректировке дистракторов.

На основе анализа заданий КТМС «Ревизия 1» тест был изменен и снова апробирован на студентах I курсов (2012 г.) Ярославской медицинской Академии под названием КТМС «Ревизия 2».

Анализ дистракторов заданий КТМС «Ревизия 2» показал, что лишь 12 % заданий должны быть отсеяны. Это свидетельствует о том, что качество теста по работе дистракторов значительно улучшилось.

Сегодня ведется работа над определением трудности, различительной способности тестовых заданий и гомогенности субтестов. Все задания новой ревизии теста подвергнутся статистическому анализу. При положительном результате, следующим этапом работы станет определение валидности и надежности теста. После необходимых операций станет ясно, готов ли тест к практическому использованию или же нуждается в следующей ревизии. 

1. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2007. 688 с.
2. Бодалев А.А., Столин А.В. Общая психодиагностика. СПб.: Речь, 2000. 440 с.
3. Бурлачук Л.Ф. Психодиагностика: Учебник для вузов. СПБ.: Питер, 006. 351 с.
4. История развития ТМС [Электронный ресурс] // URL: http://tms-info.org (дата обращения: 15.01.2013).
5. Кабанов М.М., Личко А.Е., Смирнов В.М. Методы психологической диагностики и коррекции в клинике. Л.: Речь, 1983. 312 с.
6. Кулагин Б.В. Основы профессиональной психодиагностики. М.: Эксмо-Пресс, 001. 752 с.
7. Мельников В.М., Ямпольский Л.Т. Введение в экспериментальную психологию личности. М.: Просвещение, 003. 713 с.
8. Райгородский Д.Я. Практическая психодиагностика. Методики и тесты. М.: Бахрах, 2006. 672 с.
9. Сорокина О.Л, Романюк Э.И., Тимохин В.В. Современная теория сложности заданий в психологии. М.: Просвещение, 2004. 187 с.
10. Formann A.K., Piswange K. Wiener Matrizen-Test WMT. Aufgabenheft. Weinheim: Beltz, 1979. 264 s.
11. Gessmann H.-W. et al. ÜTMS-L – Übungslehrbuch zum Test für Medizinische Studiengänge – Jungjohann Verlagsgesellschaft. Stuttgart: Neckarsulm, 1981. 241 s.
12. Gessmann H.-W. et al. ÜTMS 90 – Übungstest für Medizinische Studiengänge im Orginalformat – Jungjohann Verlagsgesellschaft. Stuttgart: Neckarsulm, 1990. 289 s.
13. Gessmann H.-W. et al. ÜTMS 95/96 – Übungstest für Medizinische Studiengänge im Orginalformat-3. Testrevision – Jungjohann Verlagsgesellschaft. Stuttgart: Neckarsulm, 1995. 189 s.
14. Hambleton R.K., Swaminathan H., Rogers H.J. Fundamentals of Item Response Theory. Newbury Park, CA: Sage Press, 1991. 368 p.
15. Lienert G.A., Raatz U. Testaufbau und Testanalyse 5, Voellig neubearbeitete und erweiterte Auflage. Weinheim: Beltz, 1994. 558 s.
16. Trost G. Test für medizinische Studiengänge (TMS). Bonn: Institut für Test und Begabungsforschung, 1970. 196 s.
17. Trost G. Test für medizinische Studiengänge (TMS). Bonn: Institut für Test und Begabungsforschung, 1997. 191 s.