Лонгитюдное исследование динамики успешности решения студентами аналитических, творческих и практических задач

В педагогике и психологии образования важной проблемой является изучение индивидуальных различий субъектов учебной деятельности в успешности обучения. Оценка последнего задается критериями педагогического контроля, содержание которых отражено государственными образовательными стандартами (ГОСами) [2]. Наиболее часто обсуждается вариативность в показателях итогового педагогического контроля, результаты которого должны согласовываться с целями обучения (например, средняя успеваемость GPA). Собственно источником этих оценок служат как отдельные экзаменационные процедуры, так и результаты текущего педагогического контроля, реализуемого при помощи проведения контрольных работ, подготовки отчетов на заданную тему и т. д. Другой подход представлен контролем, связанным с административными решениями (т. н. high-stakes examination): примером такого контроля является ЕГЭ, служащий целям как аттестации выпускников, так и отбора абитуриентов в вузы.

Однако разработка максимально про- гностичных методов оценки успешности обучения должна включать также учет психологических факторов, что осуществляется путем сопоставления «статических» показателей успешности с личностными или когнитивными особенностями учащихся. Продуктивность такого подхода ограничивается, в частности, в российских исследованиях недостаточным вниманием к следующим трем принципиальным моментам.

Во-первых, исследования в основном проводятся на материале школьных выборок, что ограничивает обобщение результатов на практику обучения студентов в высшей школе. Актуальность мониторинга успешности обучения взрослых выступает в новом свете в контексте введения в высшем образовании инновационных образовательных программ [5; 8]. Развернутые в рамках школы Б. Г. Ананьева [1] и в зарубежных исследованиях лонгитюдные схемы изучения индивидуальных различий показали, что студенческий возраст - это пора сложного структурирования интеллектуальной и личностной сфер. Поэтому разработка систем развивающего обучения не может не учитывать динамики интеллектуального потенциала, неразрывно связанной со становлением схем мышления будущих профессионалов.

Во-вторых, предпосылки и закономерности успешности обучения как результата структурирования в учебной деятельности процессов понимания, осмысления, сохранения и целенаправленной актуализации усваиваемых базовых знаний и умений в отечественной психологии высшей школы редко связываются с представлениями об интеллектуальном потенциале субъекта[*]. Классическим для отечественных и зарубежных (в частности, американской и европейских) систем образования является «упор» на становление академических, или аналитических навыков учащихся, что соответствует классической теории генерального или общего фактора интеллекта [3].

Вместе с тем современные теории способности включают обоснования идей множественных составляющих интеллектуальной сферы и предлагают иные подходы к оценке как собственно способностей, так и учебных достижений. Продуктивным примером является опыт применения теории Р. Стернберга, используемой для модификации существующих стандартизированных тестов достижений, таких как SAT [20; 22; 24[†], которая предполагает гетерогенный профиль относительно независимой успешности выполнения заданий трех типов: аналитического, творческого и практического характера.

В-третьих, важной особенностью современных исследований в психологии образования стало развитие методологии, направленной на выявление динамических, а не статических характеристик изучаемой реальности: например, успешности обучения. Это связано с переходом к современным схемам лонгитюдных исследований, предполагающих моделирование и оценку индивидуальных кривых роста при использовании методов иерархического линейного моделирования (hierarchical linear modeling, growth curve analysis [14; 16; 17]). Применение этих методов позволяет оценить не только корреляты успешности обучения, но и динамические показатели изменчивости во времени[‡].

Учитывая наметившиеся в отечественной психологии высшей школы изменения, связанные с обоснованием перехода «от деятельности к личности» [6], а также с переосмыслением роли общих способностей как одного из направлений психологических предпосылок индивидуализации обучения, мы поставили целью провести исследование профиля успешности обучения студентов в университете по отдельно выбранному предмету и ее динамических характеристик в течение семестра.

Предполагалось, что предмет должен быть достаточно трудным, чтобы позволять оценку усвоения по эффективности самостоятельного мышления студентов при использовании базовых знаний. Для этого необходима была разработка задач, решение которых «по образцу» затруднено, поскольку применение усвоенных знаний должно включать произвольное целеобра- зование и использование обобщенных ориентиров. Мы полагали также возможность опоры в выполнении заданий на разные типы способностей, которые проявляются в актуалгенезе теоретического и практического мышления, а также креативности как компонента преодоления субъектом условий неопределенности. Также были учтены возможности построения индексов трех названных аспектов интеллектуального потенциала студентов на основе работ Р. Стернберга [7; 21].

Исследовательскими гипотезами стали предположения:

1)   о возможности диагностики неоднородных профилей успешности обучения студентов, в частности, демонстрирующих относительно высокие показатели при выполнении одного типа контрольных заданий и низкие при выполнении другого типа;

2)   наличии временной динамики (роста) в показателях успешности обучения, профили которой также отличаются для различных видов заданий.

Организация и методики исследования

Участники исследования. В исследовании приняли участие 150 студентов дневного отделения факультета психологии МГУ имени М. В. Ломоносова, обучающихся по курсу «экспериментальная психология» (121 жен. и 29 муж.), в возрасте от 17 до 26 лет (M = 19,13, Med = 19, SD = 1,18).

Процедура исследования. Исследование проводилось в пять этапов. На первом были разработаны тестовые задания, составившие основную часть использованного в исследовании методического инструментария. В течение последующих трех этапов с разницей в один календарный месяц проводилось три групповых тестирования в компьютерном классе. На последнем этапе данные экспертных оценок результатов трех тестирований подвергались статистической обработке, а также были собраны данные об академической успеваемости студентов.

В качестве тестовых показателей выступали:

1)   показатель успеваемости (успеваемость), который высчитывался как среднее арифметическое от всех сданных испытуемым экзаменов за три последних сессии[§];

2)   лонгитюдные показатели успешности обучения, полученные при использовании контрольных тестовых заданий по курсу «Экспериментальная психология» [4], который является одним из базовых в профессиональной подготовке по специальности «психология».

Студенты выполняли тестовые задания с перерывом в один месяц по мере продвижения в материале курса. Их содержание на каждом этапе соответствовало плану семинарских занятий. Всего было использовано три вида заданий:

1.   аналитического характера - закрытые задания с множественным выбором, предполагающие узнавание, сопоставление и анализ блоков материала курса. Всего было разработано 218 тестовых заданий с 4 альтернативными ответами: 99 заданий для первого этапа, разбитых в случайном порядке на пять вариантов по 25 заданий в каждом, 59 для второго этапа (пять вариантов по 25 заданий) и 60 для третьего (шесть вариантов по 25 заданий);

2.   практического характера - открытые задания со стимульным материалом в виде описания схемы или результатов эксперимента, предполагающие применение знаний, полученных в курсе, для оценки валидности и надежности полученных в ходе экспериментов данных, определения зависимых и независимых переменных, анализа видов зависимостей и т. д. Всего было разработано 81 задание (7, 6 и 6 вариантов для 1-й, 2-й и 3-й контрольной соответственно). Экспертами в оценке этих и творческих заданий выступили пять преподавателей, ведущих семинары по курсу. Результаты выполнения оценивались по шкале «правильность решения» от 0 до 2 баллов;

3.   творческого характера - открытые задания с тем же стимульным материалом, что и задания практического характера, но предполагающие более высокий уровень неопределенности и новизны: формулировка гипотез исследования, предложение вариантов непроконтролированных переменных и возможных путей их контроля, улучшения валидности исследования и т. д. Всего 33 задания (7, 6 и 6 вариантов для 1-й, 2-й и 3-й контрольной). Часть заданий оценивалась по пятибалльным шкалам «оригинальность» и «соответствие задаче», часть заданий включала также оценку «беглости» (количество предложенных ответов).

При вычислении баллов успешности обучения по курсу «экспериментальная психология» использовалась многоаспектная модель Раша [12; 13], поскольку применение IRT-подхода обеспечивает как более высокую точность оценки латентной переменной успешности обучения[**], чем классическая теория тестов, так и более высокую точность определения психометрических свойств заданий [19].

Схема исследования включала наличие определенного (до 20 %) перекрытия вопросов, случайно распределенных между вариантами, и схожего перекрытия в оценках экспертов, между которыми случайно распределялись ответы. Для обеспечения дополнительного перекрытия оценок экспертов и установления психометрических свойств тестовых заданий 15 студентов, не участвующих в основном исследовании, составили «якорную выборку» (anchor sample) и прошли все тестовые задания; открытые задания оценивались всеми экспертами. Последующий анализ проводился с включением «якорных» данных в модель. Данные обрабатывались отдельно для каждого из трех этапов лонгитюда и трех видов заданий. Также были получены итоговые показатели успешности выполнения аналитических (аналитические), творческих (творческие) и практических (практические) заданий в рамках курса путем включения в модель данных по всем трем тестовым этапам и последующего перевода значений из шкалы логитов в Т-шкалу (M = 50, SD = 10) для удобства интерпретации.

Обработка результатов

Для выявления профилей успешности обучения был использован Q-факторный анализ методом выделения главных компонентов с промакс-вращением. Для проверки гипотез о связях между переменными использовался параметрический коэффициент корреляции r Пирсона. Анализ прогностической валидности разработанных шкал проводился с помощью линейного иерархического регрессионного анализа. Анализ лонгитюдных данных проводился с помощью иерархического линейного моделирования при использовании метода полного максимального подобия, позволяющего использовать весь набор данных, включая отсутствующие значения для отдельных испытуемых. Результаты обрабатывались с помощью статистического пакета SPSS for Windows v. 15.0; программы Facets for Windows v. 3.65.0 [12; 13]; программы HLM v.6.06 [17; 18].

Результаты

Оценка психометрических свойств разработанных диагностических заданий. Анализ психометрических свойств разработанных нами заданий по курсу экспериментальной психологии выявил высокий уровень внутренней согласованности заданий, используемых для получения показателей «аналитической» (,86), «творческой» (,80) и «практической» (,82) успешности обучения. Для всех трех видов заданий индекс сепарации > 2,00, что свидетельствует о возможности дифференцированного использования получаемых шкал для студентов с различным уровнем успешности обучения [9].

Анализ независимых экспертных оценок показал удовлетворительно согласованное использование критериев оценки открытых ответов студентов: процент абсолютного наблюдаемого согласия экспертов (НАС) в рамках модели Раша для творческих заданий 48,4 %, процент ожидаемого согласия (ОС) 26,9%; НАС для практических заданий 58,8 %, ОС 44,4 %. Строгость экспертов варьировала от -,20 до ,20 логитов для «творческих» и от -,96 до ,55 логитов для «практических» заданий.

Критериальная и прогностическая валидность шкал оценивалась путем сопоставления полученных итоговых значений «аналитической», «творческой» и «практической» успешности студентов с баллом, полученным на экзамене по данному курсу, и средним баллом «успеваемости» за последние три сессии. В табл. 1 видно, что все три показателя успешности значимо положительно коррелируют как с экзаменационной оценкой (r = ,48-,62, p <,01), так и с общим баллом успеваемости (r = ,38-,48, p < ,01). При этом наибольшие коэффициенты обнаружены для показателя успешности выполнения «практических» заданий (r = ,48 и r = ,62, p <,01 для успеваемости и оценки на экзамене соответственно). Таким образом, можно говорить о высокой критериальной валидности полученных оценок «аналитической», «творческой» и «практической» успешности обучения по изучаемому курсу. Стоит отметить, что все три полученных показателя были значимо положительно связаны между собой, при этом успешность выполнения «аналитических» заданий была относительно независима от успешности выполнения «творческих» (r = ,22, p <,01) и «практических» (r = =,33, p <,01) заданий.

Успешность выполнения «творческих» и «практических» заданий была связана достаточно сильно (r = ,67, p <,01), что может объясняться тем, что оба вида оценок были получены при использовании схожего типа открытых задач, а также использованием шкалы «соответствие задаче» при оценке «творческой» успешности, схожей со шкалой «правильность решения». Результаты иерархического регрессионного анализа (табл. 2) вклада показателей «аналитической» (Р = ,26, p < ,01), «творческой» (в = ,34, p < ,01) и «практической» (в = ,39, p < ,01) успешности обучения в показатель успеваемости при контроле эффектов пола и возраста показали, что все три показателя вносят вклад в общую успеваемость, объясняя до 43 % дисперсии в ее показателях (приложение). Все три показателя успешности обучения по изучаемому курсу являются значимыми высокопрогностичными предикторами общей успеваемости и обладают определенной инкрементальной предсказательной валидностью. 

Таблица 1

Матрица интеркорреляций для показателей успешности обучения по курсу
«Экспериментальная психология» и общей успеваемости студентов

Примечание. Все корреляции значимы на уровне p < ,01.

Гэтерогенность профилей успешности обучения. Выявление профилей успешности обучения по курсу проводилось методом Q-факторного анализа (промакс- вращение, выделение главных компонентов) транспонированной матрицы итоговых баллов «аналитической», «творческой» и «практической» успешности обучения студентов. По результатам факторного анализа было выявлено два фактора-профиля, объясняющих 100 % дисперсии. Матрица факторных нагрузок в этом случае представляла собой матрицу выраженности обоих профилей у каждого испытуемого. Так как нагрузки могли быть положительными и отрицательными по знаку, всего установлено (2 x 2 = 4) четыре профиля успешности обучения. На рис. 1 приведены индивидуальные профили успешности обучения 12 студентов. Первый ряд представлен студентами группы 1 (33,8 % испытуемых), для которых характерна меньшая успешность выполнения аналитических, чем творческих и практических заданий. Студенты группы 2 (второй ряд, 28,4 %), в свою очередь, демонстрируют обратный профиль, т. е. более успешно справляются с аналитическими, чем творческими и практическими заданиями. Студенты из 3 группы (третий ряд, 19,6 %) отличаются больше «творческой», чем «аналитической» или «практической» успешностью обучения (практические задания были наиболее трудными для данной группы), а студенты из 4-й группы (четвертый ряд, 18,2%) демонстрируют обратный профиль, т. е. лучше всего справляются с «практическими» заданиями, а хуже всего - с «аналитическими». В целом результаты показали, что наблюдается гетерогенность профилей успешности обучения студентов, имеющих преимущества при выполнении заданий различных типов.

Временная динамика показателей успешности обучения. Анализ лонгитюд­ных показателей успешности обучения за три этапа тестирования проводился методом иерархического линейного моделирования. Были построены три необусловлен­ные двухуровневые модели. Последние задавались в терминах предсказываемой и предсказывающих переменных, где средний начальный статус (intercept, п0) и средний темп роста (slope, п1) являются переменными второго уровня, т. е. уровня индивидуальных различий (первый уровень - уровень множественных лонгитюдных измерений). Первичный анализ индивидуальных траекторий позволил предположить наличие линейного изменения успешности обучения от 1-го к 3-му этапу тестирования для «аналитических» и «практических» заданий и нелинейного изменения для «творческих» заданий.

Для «аналитических» заданий модель приняла следующий вид:

на первом уровне аналитическая успешность = п₀ + п [††](этап тестирования) + e. [1]

на втором уровне п = P_oo + С П = P_w + + r_v [2]

Показатели r₀ и r₁ отражают случайные эффекты, e - ошибку.

Для «творческих» заданий была построена модель с двумя темпами роста:

на первом уровне творческая успешность = п₀ + п₁ *(этап 1-2) + п₂ *(этап 2-3) + + e; [3]

на втором уровне п₀ = Р₀₀ + r₀; п₁ = Р₁₀; п = = ₽₂₀. [4]

Для практических заданий модель приняла следующий вид:

на первом уровне: практическая успешность = п₀ + п₁ *(этап тестирования) + e; [5]

на втором уровне: п₀ = Р₀₀ + r₀; п₁ = = β₁₀.  [6]

Таблица 2

Иерархическая линейная модель роста успешности обучения (аналитические задания)

Таблица 3

Иерархическая линейная модель роста успешности обучения (творческие задания)

Таблица 4

Иерархическая линейная модель роста успешности обучения (практические задания)

Результаты, представленные в табл. 2­4 и обобщенные на рис. 2, предполагают следующие характеристики изменения успешности обучения студентов в течение семестра.

1.   Для «аналитических» и «практических» заданий успешность обучения линейно возрастает от первого к третьему тестовому этапу (,09 и ,14 логитов прироста за этап соответственно).

2.   Для «творческих» заданий успешность их выполнения сначала падает (-,27 логитов), а затем снова возрастает (,32 логита) к концу обучения. Таким образом, линейная динамика плавного возрастания как изменения успешности выполнения аналитических заданий схожа с таковой для «практических» заданий, тогда как успешность выполнения «творческих» заданий демонстрирует нелинейную динамику за время обучения.

Обсуждение результатов

На основе операционализации в контрольных заданиях по трудному курсу возможностей проявления студентами аналитических, творческих и практических способностей удалось получить надежные и высокопрогностичные показатели успешности обучения. Этот показатель при выполнении всех трех видов заданий значимо связан как с успеваемостью студентов, так и с экзаменационной оценкой в рамках изучаемой дисциплины. Каждый из трех видов успешности обучения по курсу «Экспериментальная психология» внес уникальный вклад в понимание дисперсии общей академической успеваемости, объясняя до 43 % в ее оценках.

Относительная независимость достижений в теоретической сфере (закрытые задачи) и связь между собой успешности в практических и теоретических заданиях (открытые задачи) демонстрируют правомерность разделения в рамках трудной дисциплины процессов усвоения теоретических знаний (как системы надындивидуальных значений) и схем их самостоятельного применения. При этом динамика академических и практических сторон усвоения носит общий характер - постепенный рост по мере усвоения знаний, а динамика креативности отличается установленным провалом (на 2-м этапе) и лишь на 3-м этапе последующим ростом.

Представленные результаты получают объяснение, основанное на предположении о позитивной роли принятия неопределенности в динамике использования приобретаемых базовых знаний. В момент их «первичного накопления» субъект еще не видит преград в их активном применении, поскольку не прогнозирует возможных ошибок. По мере овладения системой понятий субъективная сложность использования новых знаний в ситуации неопределенности осознается, а в качестве побочного следствия проявляется интолерантность к неясности и неопределенности в ситуации творческих заданий. Но далее наряду с завершением формирования системы базовых знаний образуется диапазон толерантности к неопределенности их использования (в разработке конкретных проектов). Это является следствием другого процесса - принятия неопределенности как условия произвольности в реализации новых схем мышления. Полученный результат в целом соответствует современным представлениям о креативности как свойстве, предполагающем сформированность теоретической базы знаний, получаемых в ходе длительной практики в определенной области [25].

Применение IRT-подхода к оценке успешности обучения позволило привести к единой шкале логитов успешность выполнения всех трех видов заданий. В ходе исследования были выявлены четыре профиля успешности обучения студентов. Часть студентов лучше справляется с заданиями практического и творческого типа, другие студенты лучше справляются с аналитическими заданиями. Согласно теории Р. Стернберга, своевременное информирование учащихся о профиле их слабых и сильных сторон должно приводить к повышению общей успешности за счет адаптации к выбору или изменению среды, в которой находятся учащиеся при учете этих слабых и сильных сторон [20; 23]. По нашему мнению, гетерогенность профилей успешности обучения говорит о необходимости и продуктивности учета индивидуальных особенностей в развертывании мыслительных схем студентов при оценке успешности их обучения. Но открытым остается вопрос, в какой степени за достижениями указанных трех типов скрывается специфика изменений в интеллектуальной сфере, что требует специального изучения, а не только средств педагогического контроля.

Выводы

1.   Становление системы базовых знаний в рамках усвоения трудного курса индивидуально специфично, что отражается в установленных профилях преобладания академических, практических или творческих достижений в динамике их лонгитюд­ного тестирования.

2.   Росту академических достижений, выражающихся в освоении системы теоретических понятий, сопутствует прирост возможностей их успешного применения как профессиональных схем мышления в решении практических заданий.

3.   Замедление и последующий рост креативности в процессе усвоения знаний теоретического курса позволяют говорить о двунаправленности процессов ее изменения, с которыми можно предположительно связать рост сначала интолерантности, а затем - толерантности к неопределенности.

4.   Текущий педагогический контроль даже в рамках отдельной дисциплины, построенный на основе предположения о возможности выявления с помощью соответствующим образом построенных заданий разных аспектов интеллектуальной деятельности и креативности, может быть существенным основанием прогноза общей успеваемости студентов.

5.   В целом результаты исследования свидетельствуют в пользу комплексных показателей успешности обучения в высшей школе и применения математических методов построения единых шкал успешности обучения, которые могут быть использованы для точной оценки индивидуальной и групповой динамики изменения разных аспектов интеллектуальной деятельности студентов.

Приложение.

Иерархический линейный регрессионный анализ предсказательной силы аналитической, творческой и практической успешности обучения по отдельному курсу в отношении показателя общей академической успеваемости

* p < .05, ** p < .01