Опросник академической компетентности студентов

Представлены результаты разработки и стандартизации опросника академической компетентности. Методика основана на понимании академической компетентности как комплекса самостоятельно развиваемых личностных качеств, способностей и умений, обеспечивающих успешность учебной деятельности в условиях ее изменчивости при получении высшего образования. Теоретическая модель включает 6 структурно-содержательных компонент (академическая мотивация, самоорганизация учебной деятельности, эмоциональная саморегуляция, умения и навыки работы с информацией, владение устной и письменной речью, коммуникативные умения и навыки), представленных на 3 уровнях обобщенности и свободы преобразования (репродуктивном, рефлексивном, функциональном). По результатам исследования 1 (N=224, женщин 93,8%) предварительная версия опросника была сокращена со 144 до 69 пунктов. Подтверждена прогностическая валидность при сравнении показателей успешных и неуспешных студентов на части выборки методом контрастных групп – через сравнение результатов студентов бакалавриата и магистратуры на основе корреляций с опросниками самоорганизации и академической мотивации (ШАМ). Исследование 2 (N=355, возраст M=19,9; S=3,01, женщин 90,1%) показало относительно приемлемое соответствие данных теоретической модели на основе конфирматорного факторного анализа и согласованность со шкалами опросника образовательного опыта (ООС). Внутренняя согласованность шкал подтверждена показателями альфа Кронбаха по данным 1 и 2 исследований. Приведены описательные статистики по исследованию 2. В силу значимого отличия большей части шкал от нормального распределения предложено при стандартизации опираться на значения процентилей.

Введение

Несмотря на разработанность подходов к формированию универсальных учебных действий в средней школе [Проектирование универсальных учебных, 2011], студенты вузов в разной мере оказываются способны самостоятельно регулировать и осуществлять свою учебную деятельность [Привалова, 2011]. В вузах складываются различные практики решения этой проблемы. Это могут быть адаптационные тренинги, включенные в учебный план или организуемые психологической службой вуза, опора на работу кураторов [Гребцова, 2011; Kosykh, 2020] и др. Оценка их эффективности может проводиться с использованием методов, направленных на измерение показателей субъективного благополучия [Водяха, 2013], мотивации, академической адаптации [Академическая адаптация студентов, 2022], успеваемости студентов и т.п. Такие диагностические процедуры не всегда могут дать информацию о сильных и проблемных сторонах конкретного студента в отношении его учебной деятельности, значимую для помощи в осуществлении ее рефлексии и выстраивании индивидуального плана развития.

На факультете психологии и социальной работы ВГСПУ с целью формирования инструментальной компетентности студентов к осуществлению учебной деятельности в ходе получения высшего образования в 2011 году в учебные планы профилей бакалавриата по направлениям «Психолого-педагогическое образование» и «Психология» был включен предмет «Практикум академической компетентности» [Меркулова, 2012]. Содержание и формы организации учебной работы в рамках практикума разрабатывались с опорой на идеи теории развивающего обучения, методологию культурно-исторической психологии и деятельностного подхода, что нашло отражение в разработанном пособии по курсу [Меркулова, 2018]. На основе данных разработок подобный курс был реализован в ГрГУ им. Я. Купалы (Беларусь) [Михайлова, 2016]. В реализации практикума происходит обращение к различным диагностическим инструментам в режиме рефлексивной самодиагностики. На основе успешности этого опыта, а также необходимости системной оценки развивающих эффектов практикума была поставлена цель разработки опросника академической компетентности.

Ранее обосновано определение академической компетентности (АК) как комплекса самостоятельно развиваемых личностных качеств, способностей и умений, обеспечивающих успешность учебной деятельности в условиях ее изменчивости при получении высшего образования [Меркулова, 2023], который может быть понят как система специфичных ресурсов учебной деятельности, значимых для развития личностного потенциала, понимаемого с опорой на работы Д.А. Леонтьева [Леонтьев, 2016].

С содержательной стороны структура АК была определена на основе концептуализации опыта реализации практикума, однако можно отметить ее содержательную близость модели, предложенной С. Эллиотом и Д.К. Диперна для школьников и используемой в современных исследованиях [Evaluating a Short, 2020], и согласованность с исследованиями предикторов успешности обучения студентов [О связи интеллектуальных, 2007; Юхно, 2022]. Также мы рассматриваем возможную сформированность АК на разных уровнях с точки зрения обобщенности и свободы ее преобразования в изменяющихся условиях с опорой на представление о функциональном развитии как процессе, в котором «можно зафиксировать три ступени (или уровня) становления культурного способа действия» [Нежнов, 2011, с. 31]. Так, на формальном или репродуктивном уровне АК проявляется в стихийно сложившихся типичных паттернах поведения и способах учебной деятельности, обеспечивающих ее эффективность. Рефлексивный уровень обеспечивает осознанность выбора способа деятельности, ориентируясь на требования ситуации и собственные возможности. Функциональный уровень соответствует возможности преобразовывать способы своей учебной деятельности на основе рефлексивного анализа актуальной ситуации, обращаясь при этом к различным культурным средствам.

Структурно-содержательная модель АК включает следующие компоненты: (1) академическая мотивация – как характеристика мотивированности к обучению в целом и способности осознавать и повышать ее; (2) самоорганизация учебной деятельности обеспечивает успешность планирования и реализации всех видов учебной работы; (3) эмоциональная саморегуляция поддерживает стабильность и позитивность эмоциональных состояний в обучении; (4) умения и навыки работы с информацией мы рассматриваем как в контексте ее поиска и оценки качества, так и с точки зрения преобразования и понимания; (5) владение устной и письменной речью обеспечивает успешность академического письма и устных выступлений; (6) коммуникативные умения и навыки важны для успешности коммуникации в образовательном процессе. Таким образом, обобщенная модель АК включает 6 указанных компонент, которые могут по-разному проявляться на репродуктивном, рефлексивном и функциональном уровнях.

Методы и организация исследования

При разработке опросника АК в соответствии с теоретической моделью в структуру было включено 6 содержательных шкал, по каждой из которых АК рассматривалась через 3 субшкалы, соответствующие уровням ее становления, что в общем дало 18 субшкал. Для каждой из них было сформулировано по 8 пунктов, которые составили предварительную версию из 144 утверждений для оценивания по дихотомической шкале. Формулировки утверждений обсуждались с группой из 4 экспертов – магистрантов программы «Культурно-историческая психология и деятельностный подход в образовании» (исследование одного из них было связано с изучением академической компетентности [Морозов, 2020], а остальные являлись на тот момент преподавателями психологических дисциплин в вузе со стажем работы более 15 лет). Все формулировки были признаны соответствующими теоретической модели академической компетентности.

Сбор данных эмпирического исследования 1 проводился с 2020 по 2022 год, помимо пилотажной версии разрабатываемого опросника в программу были включены следующие методики, позволяющие оценивать его валидность:

Опросник «Шкалы академической мотивации» (ШАМ) (Т.О. Гордеева, О.А. Сычев, Е.Н. Осин), основанный на теоретических представлениях о внутренней и внешней мотивации в теории самодетерминации [Гордеева, 2014]. Опросник включает 7 шкал, диагностирующих три типа внутренней мотивации (познавательная, достиженческая, мотивация саморазвития), три типа внешней мотивации учебной деятельности (мотивация самоуважения, интроецированная, экстернальная) и амотивацию.

Опросник «Диагностика особенностей самоорганизации» (ДОС) (А.Д. Ишков), который включает интегральную шкалу «Уровень самоорганизации» и шесть частных шкал, характеризующих развитие личностного компонента самоорганизации (волевые усилия) и пяти функциональных компонентов: целеполагание, анализ ситуации, планирование, самоконтроль, коррекция [Ишков, 2004].

В исследовании приняли участие 199 студентов программ бакалавриата, обучающихся в ФГБОУ ВО «ВГСПУ» по направлениям «Психолого-педагогическое образование» (N=139) и «Психология» (N=60) с 1 по 4 курс разных форм обучения (женщин 93,5%). Для формирования группы сравнения со студентами бакалавриата только опросник АК было предложено заполнить магистрантам программы «Развитие личностного потенциала: персонализация и цифровизация» ГАОУ ВО МГПУ (N=25).

С участием сотрудников деканатов в 2022-2023 учебном году в отношении части выборки (N=97) была дана обобщенная экспертная оценка с выделением групп успешных и неуспешных студентов. К неуспешным были отнесены студенты, регулярно имеющие академические задолженности, к успешным – имеющие стабильно относительно высокую успеваемость при отсутствии задолженностей по учебным предметам. Случаи нестабильной успешности исключались из этих групп наряду со студентами, в отношении которых по организационным причинам оценка не была выполнена.

По результатам первого эмпирического исследования опросник был сокращен до 69 пунктов. Отсев утверждений производился на основе анализа взаимосвязей отдельных пунктов с показателем успешности, согласованности проектируемых шкал по показателю альфа Кронбаха и с учетом «трудности» пунктов. Также было принято решение отказаться от детализированной структуры из 18 первичных субшкал и оставить в качестве диагностических показателей 6 шкал, соответствующих содержательной, и 3 – уровневой моделям академической компетентности.

С учетом отзывов участников, которым было сложно оценивать согласие с утверждениями в дихотомической шкале, а также для повышения дифференцированности при сокращении числа пунктов было принято решение об использовании в дальнейшем ликертовской шкалы с 4 градациями согласия и переводом в баллы от 0 до 3.

Эмпирическое исследование 2 было проведено весной 2023 года с использованием версии опросника, включающей 69 пунктов, полученных после отсева на предыдущем этапе. В исследование был включен опросник образовательного опыта студентов (ООС) (Н.А. Лызь, Е.В. Голубева, О.Н. Истратова), диагностирующий показатели по 5 шкалам: удовлетворенность, интенция к расширению опыта, самоэффективность и поддержка, опыт саморегулируемого обучения, вовлеченность [Лызь, 2022].

В опросе приняли участие 355 студентов бакалавриата и специалитета из ВГСПУ (N=283) и ГрГУ им. Я. Купалы (N=72) в возрасте от 17 до 47 лет (M=19,9; S=3,01), 40,6% составили первокурсники. Большая часть выборки – студенты профилей педагогического образования (N=200), также были представлены: психолого-педагогическое (N=98), специальное и дефектологическое (N=25) образование, психология (N=24) и другие гуманитарные профили (N=8). Специфика вуза определила преобладание в выборке женщин (90,1%). 91,3% опрошенных обучаются очно.

Опросы в обоих исследованиях проводились с помощью сервиса Google-формы, стимулирование к участию осуществлялось через включение опроса в работу по дисциплинам психолого-педагогической направленности. При этом в преамбуле к опросу подчеркивалось, что учитывается факт участия, а не содержание ответов. Также обращалось внимание на рефлексивный характер опроса и возможность задуматься о получаемом образовании. По данным групп, в которых привлечение студентов к участию осуществлялось непосредственно автором, часть наименее успешных и вовлеченных в образовательный процесс студентов игнорировали предложение пройти опрос.

Статистический анализ данных выполнялся с использованием пакетов Jamovi 2.3 (КФА) и IBM SPSS Statistics 20.0 (остальные методы анализа).

Результаты

Для оценки соответствия полученных данных по исследованию 2 структурно-содержательной и уровневой моделям, положенным в основу разработки опросника, был использован конфирматорный факторный анализ (КФА). Расчеты выполнялись дважды, отдельно для каждой модели. Для структурно-содержательной модели, предполагающей выделение в составе АК 6 содержательных компонент, были получены оценки соответствия: CFI=0,620, TLI=0,606, RMSEA=0,0681. Для уровневой модели: CFI=0,613, TLI=0,601, RMSEA=0,0676. Несмотря на относительно низкие значения показателей CFI и TLI, приемлемые значения RMSEA [Руководство по стандартизации, 2024] позволяют считать обе модели как минимум не противоречащими эмпирическим данным. Анализ возможных приемлемых с содержательной точки зрения корректировок моделей (исключение отдельных утверждений и изменение уровня, к которому отнесен пункт) не привел к заметному повышению их качества, поэтому было принято решение о сохранении априорного соответствия пунктов шкалам опросника. Факторные нагрузки вместе с содержанием утверждений и ключами для обработки приведены в приложении.

Надежность шкал на основе согласованности оценивалась по показателю α Кронбаха. Значения по данным двух исследований приведены в табл. 1. Распределение сырых баллов по большинству отдельных субшкал значимо отличается от нормального по критерию Колмогорова-Смирнова. Однако итоговый показатель дает приемлемое соответствие распределения нормальному закону.

Таблица 1. Характеристика шкал, показатели согласованности по данным исследования 1 (N=224) и 2 (N=355), значимость отклонения распределения от нормального по критерию Колмогорова-Смирнова по данным исследования 2

Примечания: 1 приведены значения коэффициента α Кронбаха для исследований 1 и 2 соответственно; 2 уровень значимости отличия распределения от нормального.

Как и для большинства шкал других самооценочных опросников, включенных в исследование (ШАМ и ООС), распределения имеют правостороннюю асимметрию со смещением в сторону высоких значений (табл. 2), что может быть связано с недостаточным охватом наименее вовлеченных студентов. В силу этого стандартизация с использованием шкал стенов или стенайнов представляется не вполне адекватной, но для грубой оценки возможно выделение средних уровней в границах интервала M±S. Более обоснованной с учетом полученных данных представляется стандартизация на основе процентильных значений, которые приведены в табл. 2 наряду с параметрами распределений.

Таблица 2. Параметры распределений значений по шкалам опросника АК по данным исследования 2 (N=355)

Примечания: 1 расшифровки индексов обозначения шкал приведены в табл. 1; 2 M – среднее арифметическое, S – стандартное отклонение, As – коэффициент асимметрии, Ex – коэффициент эксцесса.

В табл. 3 приведены интеркорреляции между шкалами опросника. Высокие и значимые связи между всеми шкалами свидетельствуют о том, что опросник в целом диагностирует достаточно целостный конструкт.

Таблица 3. Интеркорреляции (коэффициенты Спирмена) между шкалами опросника АК по данным исследования 2 (N=355)

Примечания: 1 расшифровки индексов обозначения шкал приведены в таблице 1; ** корреляция значима на уровне p≤0,01.

Для оценки валидности – прогностической и методом контрастных групп – были выполнены сравнения (1) между группами студентов бакалавриата с высокой и низкой успешностью обучения по данным экспертных оценок и (2) между выборкой студентов бакалавриата и магистратуры «Развитие личностного потенциала» с помощью U критерия Манна-Уитни. Ожидаемо более высокий уровень академической компетентности магистрантов связан с тем, что все они имеют успешный опыт обучения на программах бакалавриата или специалитета, подавляющее большинство работают в системе образования и на момент исследования справлялись с учебными задачами, совмещая их с высокой загруженностью по работе, а также с содержанием программы, ориентированной на вопросы развития личностных ресурсов.

Полученные результаты (табл. 4) подтверждают, что по большинству шкал опросника АК более успешные студенты бакалавриата в сравнении с менее успешными и магистранты в сравнении со студентами бакалавриата показывают более высокие значения при достоверных уровнях значимости различий.

Таблица 4. Сравнение контрастных групп по шкалам опросника АК по данным исследования 1

Примечания: 1 расшифровки индексов обозначения шкал приведены в табл. 1; 2 уровень значимости при проверке различий по критерию U Манна-Уитни.

Валидность по внешнему критерию проверялась также через связи с опросниками самоорганизации, академической мотивации и образовательного опыта студентов (табл. 5). В целом полученные данные не противоречат ожиданиям на основе теоретических представлений.

Таблица 5. Корреляции (коэффициенты Спирмена) шкал опросника АК1 со шкалами опросников самоорганизации, академической мотивации и образовательного опыта студентов

Примечания: 1 расшифровки индексов обозначения шкал, использованные в заголовках столбцов, приведены в табл. 1; * корреляция значима на уровне p≤0,05; ** корреляция значима на уровне p≤0,01.

Обсуждение и выводы

Валидность предлагаемого опросника была обеспечена проработанностью модели, привлечением к разработке содержания и формулировок пунктов и их экспертизе специалистов, имеющих большой преподавательский и актуализированный студенческий опыт, эмпирическими данными, подтверждающими такие виды валидности, как прогностическая и конструктная, на основе метода контрастных групп и согласованными с теоретическими ожиданиями корреляциями с данными стандартизованных ранее опросников самоорганизации, академической мотивации и студенческого опыта. Надежность подтверждается хорошими показателями внутренней согласованности шкал, а также приемлемой согласованностью полученных данных с теоретическими моделями, положенными в основу разработки опросника.

Высокая согласованность шкал опросника хотя и свидетельствует о том, что АК может рассматриваться как целостный конструкт, несколько снижает ценность получаемых по отдельным шкалам показателей. Это может рассматриваться как ограничение при использовании опросника в исключительно исследовательских целях в силу достаточного большого числа пунктов. Однако при использовании в рамках организации помощи студентам в развитии их АК объем опросника не должен выступать препятствием, так как полезным может быть уже само по себе обращение к разным ситуациям, в которых проявляются личностные качества и способности, ресурсные для успешности обучения.

К ограничениям предлагаемого инструмента также можно отнести недостаточную репрезентативность выборки с точки зрения охвата разных вузов и направлений подготовки, а также пола. Однако обращение к оценке и развитию академической компетентности представляется особенно важным именно для студентов психологических и педагогических направлений подготовки, так как их собственный опыт повышения эффективности учебной деятельности может рассматриваться как вклад в развитие не только личностных, но и профессиональных ресурсов, поддерживающих в будущем их способность помогать обучающимся в решении аналогичных задач.

К направлениям дальнейшего совершенствования предложенного опросника можно отнести: уточнение норм для студентов других вузов и направлений подготовки, разработку экспресс-версии опросника, уточнение дивергентной валидности за счет сопоставления со специфичными для разных шкал критериями. Открытым остается вопрос о сопоставлении возможностей психологической диагностики на основе самоотчетного опросника и тестовых процедур, предполагающих решение кейс-заданий, моделирующих проблемные ситуации в обучении. Важным направлением дальнейших исследований мы видим также систематическое выявление и описание с помощью качественных методов особенностей проявления академической компетентности на репродуктивном, рефлексивном и функциональном уровнях в реальной учебной деятельности с последующим сопоставлением с результатами диагностики с использованием опросника.

В недалеком будущем также может потребоваться доработка опросника в связи с изменяющейся спецификой высшего образования: внедрением новых форм оценивания (демонстрационный экзамен и т.п.), расширением возможностей цифровых образовательных ресурсов, включая использование инструментов на основе технологий искусственного интеллекта и т.п.

1. Академическая адаптация студентов: разработка и валидизация новой методики / Р.М. Шамионов и др. // Психологическая наука и образование. 2022. Том 27. № 2. С. 53–68. DOI:10.17759/pse.2022270205
2. Водяха С.А. Предикторы психологического благополучия студентов // Педагогическое образование в России. 2013. № 1. С. 70–74.
3. Гордеева Т.О., Сычев О.А., Осин Е.Н. Опросник «Шкалы академической мотивации» // Психологический журнал. 2014. Том 35. № 4. С. 96–107.
4. Гребцова Л.В., Тимченко С.В. Адаптация студентов-первокурсников к обучению в вузе как одно из направлений психолого-педагогической работы // Перспективы науки. 2011. № 1(16). С. 15–17.
5. Ишков А.Д. Учебная деятельность студента: психологические факторы успешности. М.: Издательство АВС, 2004. 224 с.
6. Леонтьев Д.А. Саморегуляция, ресурсы и личностный потенциал // Сибирский психологический журнал. 2016. № 62. С. 18–37. DOI:10.17223/17267080/62/3
7. Лызь Н.А., Голубева Е.В., Истратова О.Н. Образовательный опыт студентов: концептуализация и разработка инструмента оценки качества образования // Вопросы образования. 2022. № 3. С. 67–98. DOI:10.17323/1814-9545-2022-3-67-98
8. Меркулова О.П., Бондарева Л.В. Академическая компетентность как ресурс профессиональной подготовки психолога образования // Теоретические и прикладные проблемы психологии образования: сборник научных статей / Под ред. Н.В. Нижегородцевой. Ярославль: Изд-во ЯГПУ, 2012. С. 14–19.
9. Меркулова О.П. Практикум академической компетентности. Как учиться в вузе успешно и самостоятельно? Саратов: Ай пи Эр Медиа, 2018. 167 с. DOI:10.23682/72463
10. Меркулова О.П. Академическая компетентность как личностный ресурс учебной деятельности студентов // Управление качеством образования: теория и практика эффективного администрирования. 2023. № 4. С. 29–38.
11. Михайлова Н.С. Самообразовательная деятельность и академическая компетентность как факторы академической успешности студентов // Международный журнал экспериментального образования. 2016. № 2. С. 268–272.
12. Морозов А.И. Рефлексивная позиция в структуре академической компетентности студентов // Студенческий электронный журнал СтРИЖ. 2020. № 2(31). С. 85–90.
13. Нежнов П.Г., Карданова Е.Ю., Эльконин Б.Д. Оценка результатов школьного образования: структурный подход // Вопросы образования. 2011. № 1. С. 26–44. DOI:10.17323/1814-9545-2011-1-26-43
14. О связи интеллектуальных и личностных характеристик студентов с успешностью их обучения / С.Д. Смирнов и др. // Вестник Московского университета. Серия 14: Психология. 2007. № 3. С. 82–87.
15. Привалова С.Ю. Саморегуляция учебной деятельности и личное развитие студента // Известия Саратовского университета. Новая серия. Серия: Социология. Политология. 2011. Том 11. № 1. С. 27–30. DOI:10.18500/1818-9601-2011-11-1-27-30
16. Проектирование универсальных учебных действий в старшей школе / А.Г. Асмолов [и др.] // Национальный психологический журнал. 2011. № 1(5). С. 104–110.
17. Руководство по стандартизации психодиагностического инструментария: требования и оценка качества / М.Г. Сорокова, Е.Ю. Карданова, Н.П. Радчикова, В.В. Федоров; под ред. Сороковой М.Г. М.: ФГБОУ ВО МГППУ, 2024. 48 с.
18. Юхно В.С., Денисова Е.Г. Аффективно-когнитивные предикторы академической успешности современных студентов: аналитический обзор // Северо-Кавказский психологический вестник. 2022. Том 20. № 4. С. 17–26. DOI:10.21702/ncpb.2022.4.2
19. Evaluating a Short Form of the Academic Competence Evaluation Scales: Expanded Examination of Psychometric Properties / Owens J.S. et al. // School Mental Health. 2020. Vol. 12. № 1. P. 38–52. DOI:10.1007/s12310-019-09347-9
20. Kosykh A.V. Features of adaptation of 1st year students to study at a university // Научные горизонты. 2020. № 9(37). P. 43–51.