Оценка влияния психологических параметров на результаты анкетирования студентов

В статье описаны процесс анкетирования с целью собрать в обобщенном виде студенческое оценки преподавания учебных курсов, влияние фактора возраста на качество преподавания дисциплин на основании построенной математической модели по выбранным критериям и ее анализ.

Введение

Вопрос о качестве образования всегда является актуальным. Мир движется и развивается, образование не только должно отвечать меняющимся запросам, но и опережать его развитие. В Федеральном законе от 29.12.2012 № 273-ФЗ «Об образовании в Российской Федерации» в части 29 статьи 2 качество образования трактуется как комплексная характеристика образовательной деятельности и подготовка обучающегося, которая выражает степень соответствия федеральным государственным образовательным стандартам и потребностям физического или юридического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов образовательной программы.

Современное образование сейчас решает важнейшую задачу формирования академических знаний обучающихся, учит адаптироваться в быстро меняющемся мире. И качественное образование должно гарантировать успешность, востребованность и конкурентоспособность.

Роль преподавателя сегодня очень велика, независимо от развития образовательных и информационных технологий, и оценка качества его работы является важной составляющей системы оценки деятельности всего образовательного процесса и носит системный характер. Для контроля качества образования и ее участников постоянно проводятся различные независимые системы оценки, это тестирования, анкетирования, срезы и т.д., но все ли результаты таких независимых оценок качества образования мы должны принимать и внедрять в наше образование, всегда ли это дает стопроцентное попадание в нужный результат. Независимые оценки призваны оценивать такие составляющие, как педагогическую, научно-методическую, воспитательную, организационно-управленческую и общественную деятельность не только в системе, но и во времени. При оценке деятельности работы преподавателя (руководством, коллегами, студентами, экспертами) одной из основных проблем является субъективизм.

Студенческая оценка преподавания дисциплин на факультете информационных технологий МГППУ

В конце каждого семестра в МГППУ на факультете информационных технологий проходит очередной этап студенческой оценки преподавания учебных курсов. По методологии опроса в анкетировании принимают участие студенты очной формы обучения, обучающиеся по учебным программам бакалавриата, специалитета и магистратуры. Студентам предлагается оценить преподавание учебных дисциплин, которые они изучали в предыдущем семестре по ряду критериев, среди которых «ясность, логичность и доступность изложения материала», «умение вызвать и поддержать интерес к предмету», «использование примеров из профессиональной деятельности, иллюстрирующих связь изучаемого материала с будущей специальностью», «четкость формулирования критериев оценки знаний и требований к студентам», «объективность в оценках знаний студентов» и т.д.. После завершения анкетирования проводится обработка полученных результатов, в ходе которой отбираются только те анкеты, которые удовлетворяют двум условиям: посещение студентами не менее 25% занятий с оцениваемым преподавателем и достижение необходимого порогового количества заполненных анкет на одного преподавателя. Для всех преподавателей рассчитываются средние оценки по всем изучаемым критериям преподавания, каждая из которых, в свою очередь, проверяется на однородность мнений с помощью коэффициента вариации, показывающего, насколько солидарны студенты при оценке качеств преподавателя. Для анализа рассчитываются интегральные показатели в целом по университету, в целом по каждому учебному подразделению и персонально по каждому преподавателю. Кроме того, в отношении преподавателя, учебного процесса студенты могли оставить свои комментарии или замечания в свободной форме. Все комментарии и замечания студентов передаются, с соблюдением принципа анонимности, руководству университета и факультета.

Всем сотрудникам, участвующим в разработке или администрировании системы опроса, специально выпущенным приказом запрещается разглашать детальную информацию об оценках, которые дали студенты. В анкете есть «дополнительный блок вопросов». Эти вопросы меняются от исследования к исследованию и касаются тем, по которым руководство Университета планирует принимать управленческие решения. Какими они будут, зависит от ответов студентов. Результаты оценивания предоставляются руководству Университета и факультетов только в обобщенном виде. Анализируя ответы студентов на анкеты, руководство может принимать решения о поощрении, о необходимости повышения квалификации, переподготовки преподавателей и т.п.

А, система повышения квалификации ППС, в свою очередь, должна предусматривать организационно-методическую поддержку педагогическим новациям и преемственность развития профессиональных качеств педагогических кадров.

С одной стороны, учитывая результаты анкетирования, преподаватели также могут проанализировать свою работу, например, подкорректировать программу, пересмотреть в целом свое отношение к учебному и воспитательному процессу, пройти курсы повышения квалификации в своей области и т.д. С другой же стороны, на многолетнем опыте проведения анкетирования мы видим, что не всегда преподаватели, имеющие высокие звания, степени и большой опыт работы, могут иметь высокие оценки студентов. Очень сложно получить объективную оценку реальной картины проведения учебных занятий. Никакие открытые занятия или простые посещения администрацией учебных занятий, анкетирования не дадут объективную оценку отношений главных участников образовательного процесса – преподавателей и студентов. И здесь встает вполне уместный вопрос: а судьи кто? Среди студентов есть те, кто не обладает необходимым уровнем знаний и опыта, чтобы иметь право давать оценку преподавателям с высшим образованием, званием или ученой степенью. При примитивном отношении студентов к анкете ответы будут зависеть только от того, «добрый» или «злой» преподаватель. Часто вопросы в анкетах предполагают субъективный подход: не задумываясь над содержанием вопроса, студент по инерции ставит оценку, только исходя из общего впечатления, которое оставил преподаватель, учитывая сложность дисциплины или полученную оценку на экзамене.

Более объективная оценка может быть получена при условии проведения систематического мониторинга деятельности преподавателя, учитывая при этом мнение коллег, экспертов, неформальное общение с родителями и студентами и отзывы выпускников.

В последнее время на повестке в вузах все чаще встаёт вопрос о возрастных критериях профессорско-преподавательского состава. Старение ППС называют одной из главных проблем высшего образования. Процент возрастных преподавателей сейчас выше, чем в советские годы, но искусственная замена «стариков» на «молодежь» может привести к обрушению качества образования.

Попробуем разобраться в этом вопросе, разберем на примере результатов анкетирования студентов факультета информационных технологий, как влияет фактор возраста на качество преподавания дисциплин.

В соответствии с методикой исследования для оценивания студентами преподавания учебных курсов в опрос были включены не все преподаватели учебного подразделения, а только те, которые проводили учебные занятия в учебных группах студентов в соответствии с приказом №06-14/684 от 30.05.2023 г. «О проведении оценки преподавания учебных курсов». Студенты должны были оценить 24 преподавателя учебного подразделения по следующим критериям:

1 – ясность, логичность и доступность излагаемого учебного материала;

2 – использование на занятиях примеров из профессиональной деятельности;

3 – использование в преподавании современных научных знаний/данных современных эмпирических исследований;

4 – умение вызывать и поддержать интерес к предмету;

5 – эффективность использования времени на учебных занятиях;

6 – умение общаться с аудиторией;

7 – четкость формулирования критериев оценки знаний и требований к студентам;

8 – объективность в оценках знаний студентов.

Построение математической модели по выбранным критериям и ее анализ 

Для оценки уровня статистической значимости исследуемого фактора возраста был применен метод моделирования структурными уравнениями. Факторная модель представлена в виде путевой диаграммы на рисунке 1. В качестве наблюдаемых параметров используются три указанных выше критерия для двух групп наблюдаемых, («1» и «2»). Рассматриваемые оценки опираются на результаты исследования студентов по преподаванию учебных курсов. В анкетировании всего приняли участие 24 преподавателя, возьмем результаты по 3 критериям: ясность, логичность и доступность излагаемого учебного материала; умение вызывать и поддержать интерес к предмету; умение общаться с аудиторией. «Ясность, логичность и доступность излагаемого учебного материала» зададим переменной А, «Умение вызывать и поддержать интерес к предмету» - переменной Q, «Умение общаться с аудиторией»- переменной В. Группы наблюдаемых были распределены по возрасту - категория до 50 лет и больше 50 лет. Разберемся, как фактор возраста влияет на наблюдаемые критерии.

В нашей модели латентные переменные P1 и P2 представляют факторы, отвечающие за успеваемость и посещаемость студентов, отношение к преподавателю, умение коммуницировать в коллективе, не зависящие от фактора возраста, для показателей «Ясность, логичность и доступность излагаемого учебного материала» и «Умение общаться с аудиторией», соответственно. Латентная переменная M представляет фактор возраста. Латентные переменные S1 и S2 представляют собой объединенные факторы, сочетающие указанные выше факторы, а латентные переменные E1 , E2 и E3 представляют собой ошибки измерения соответствующих наблюдаемых переменных. Факторные нагрузки a, b, q1, q2, m, p1, p2, e1, e2, e3 и корреляция r являются свободными параметрами модели, которые необходимо идентифицировать.

Матрица выборочных ковариаций наблюдаемых переменных для группы 1 рассчитывается с использованием фактора возраста. Соответственно, аналогичная матрица для группы 2 получена испытуемых без использования фактора возраста.

Рисунок 1 — Путевые диаграммы: две группы, представляющие факторные модели с фактором возраста M и без него 

Свободные параметры данной факторной модели идентифицируются методом максимального правдоподобия, при этом следующие статистики применяются в качестве критериев согласия, минимизируемых для обеих групп:

где F - критерий максимального правдоподобия, при этом F+ и F- являются его групповыми компонентами; C+ и C- - выборочные матрицы ковариаций наблюдаемых переменных для группы 1 и группы 2, соответственно; + и - - соответствующие прогнозируемые матрицы ковариаций наблюдаемых переменных; |+|, |-|, |C+| и |C-| являются детерминантами соответствующих матриц; tr - след соответствующей матрицы; N+ и N- - объёмы выборок, используемые для расчета матриц C+ и C- соответственно; n - количество наблюдаемых переменных в группе (n=3). Элементы прогнозируемых матриц ковариаций для рассматриваемых групп представляются аналитическими выражениями, составленными из свободных параметров, и имеют следующий вид (наблюдаемые параметры приведены в следующем порядке: A, B, Q):

  (5)

При условии многомерного нормального распределения наблюдаемых переменных, значения статистики F описываются распределением 2.

Для определения свободных параметров модели выполняется численное решение задачи многомерной оптимизации.

Исходная полная модель имеет 3 наблюдаемые переменные, 12 независимых наблюдаемых статистик, 11 свободных параметров и, соответственно, одну степень свободы для распределения 2 статистики F. Оптимизация модели за счет уменьшения количества свободных параметров приводит к e1=e=0 с незначительными изменениями критерия максимального правдоподобия F и тремя степенями свободы в полученной полной модели.

Для оценки статистической значимости фактора возраста, полную модель, представленную на рисунке 1, следует сравнить с упрощённым вариантом без латентной переменной М. Разница F-статистик между полной и упрощённой моделями асимптотически распределена как 2 с числом степеней свободы, равной разности в их числах степеней свободы [1].

Идентификация оптимизированной полной модели дает приемлемое соответствие наблюдаемых и прогнозируемых матриц ковариаций (F = 4,88, df = 3, p < 0,18) с ненулевыми значениями для факторной нагрузки m. Сравнение F-статистик, полученных в результате идентификации полной и упрощённой моделей, не показывает статистически значимые различия, обусловленные влиянием фактора возраста M (F=0, df=4, p=1). Таким образом, следует сделать вывод о том, что не существует статистически значимого влияния фактора возраста на наблюдаемые показатели.

Далее рассмотрим связь возраста со следующими критериями: эффективность использования времени на учебных занятиях; четкость формулирования критериев оценки знаний и требований к студентам; . объективность в оценках знаний студентов;

Зададим «Эффективность использования времени на учебных занятиях» - переменной А: «Четкость формулирования критериев оценки знаний и требований к студентам» - переменной Q; «Объективность в оценках знаний студентов» - переменной В.

Латентные переменные P1 и P2 представляют факторы, отвечающие за способность студента организовать свое время, знание современных тенденций по изучаемому направлению, личностные характеристики студента, например, такие, как чувство справедливости. Аналогично, проводим расчеты и видим, что идентификация оптимизированной полной модели дает близкое к допустимому соответствие наблюдаемых и прогнозируемых матриц ковариаций (F = 9,43, df = 4, p < 0,05) с ненулевыми значениями для факторной нагрузки m. Сравнение F-статистик, полученных в результате идентификации полной и упрощённой моделей, не показывает статистически значимые различия, обусловленные влиянием фактора возраста M (F=0, df=5, p=1). Таким образом, следует сделать вывод о том, что здесь также не существует статистически значимого влияния фактора возраста на наблюдаемые показатели.

Заключение

Результаты опроса показали, что в целом по факультету наиболее высоко студенты оценили в преподавателях объективность в оценке знаний студентов, использование в преподавании примеров из профессиональной деятельности. Преподаватели, имеющие большой стаж, как правило, компетентны и информированы в своей области, что положительно влияет на их способность передавать знания студентам. Большой педагогический опыт позволяет преподавателям создавать более благоприятную обучающую среду, работать с разными категориями студентов, находить оптимальную и эффективную траекторию для каждого студента. Однако стоит отметить, что фактор возраста не является единственным или основным фактором, определяющим качество преподавания. Другие факторы, такие как полученное образование, профессиональное развитие, актуальность знаний и способность к адаптации к новым методам преподавания, также имеют свое значение. В каждой возрастной группе есть талантливые люди, важно создавать условия для развития их талантов. Без опыта, который передается из поколения в поколение, невозможно развитие научных школ.

1. Куравский Л.С., Юрьев Г.А., Юрьева Н.Е., Николаев И.А., Несимова А.О., Поляков Б.Ю., Козырев А.Д. Построение систем психологической диагностики на основе новых математических представлений // Экспериментальная психология. 2023. Том 16. № 2. С. 178–202. DOI: 10.17759/exppsy.2023160211.
2. Нуркаева И.М., Коморина К.А. Информационная система диагностики профессионального выгорания педагогов // Моделирование и анализ данных. – М.: ФГБОУ ВО МГППУ, 2017. – Т. 1 – № 1. – С. 95-103.
3. Нуркаева И.М., Зайцев А.Н., Оглоблин А.А. Информационная система для мониторинга учебных достижений студентов МГППУ // Моделирование и анализ данных. – М.: ФГБОУ ВО МГППУ, 2019. – № 1. – С. 30–41.
4. Нуркаева И.М., Артемова А.А. Информационная система диагностики стрессоустойчивости педагогов // Моделирование и анализ данных. – 2021.  – Т. 11. – № 4.  – С. 59-71.
5. Червен-Водали Е.Б., Антипова С.Н., Сидорова В.Б. Особенности обучения студентов с ОВЗ по зрению дисциплинам математического и компьютерного циклов на факультете «Информационные технологии» с применением дистанционных технологий // Моделирование и анализ данных. 2022. Том 12. № 1. C. 60–78.