Образовательные и мотивационные предикторы академических достижений (на материале данных PISA 2018 по чтению)

Представлены результаты изучения роли образовательных и мотивационных факторов (при контроле пола и особенностей семейной среды) академических достижений российских подростков на материале PISA 2018 по читательской грамотности. Подчеркивается, что академические достижения школьников-подростков – важный показатель их дальнейшей успешности и адаптации к жизни во взрослом социуме. Материалом исследования стали данные, собранные на репрезентативной выборке российских подростков (N=7608). Подтверждена роль социально-экономического и культурного статуса семьи (СЭС) как важного предиктора академических достижений школьников. В отношении вклада средовых (семейных и учительских) факторов показана значимая позитивная роль поддержки учителем активной вовлеченности в чтение и негативная роль директивного обучения. Подтвержден важный вклад мотивационных переменных в читательскую грамотность, в частности, увлеченности чтением как позитивного предиктора и установки на фиксированные способности как негативного предиктора компетентности в области читательской грамотности. В обсуждении показано, что полученные данные в целом хорошо согласуются с международными данными, описывающими предикторы академических достижений школьников на материале PISA 2018. Результаты могут использоваться в контексте обучения учителей и повышения качества образования в российских школах.

Введение

Проводимые с 2000 года международные исследования PISA позволяют оценивать качество образования в разных странах и предпринимать меры по его улучшению. Оценка образовательных достижений учащихся проводится по трем основным направлениям – грамотность чтения, математическая грамотность и естественно-научная грамотность, исследование проводится трехлетними циклами, причем в каждом цикле основное внимание уделяется одному из трех указанных выше направлений. Актуальность настоящего исследования обусловлена важностью анализа факторов, скрывающихся за достижениями школьников, и спецификой этих факторов для каждой страны-участницы [4; 12]. На семейном уровне единственной универсальной переменной, показывающей позитивные связи с успешностью по тестам PISA, является социально-экономический и культурный статус семьи (СЭС) [8; 9] (при том, что продолжаются дискуссии о подходах к его оценке (см. [7])).

В исследовании PISA 2018 приняли участие 77 стран. Российские подростки показали результаты более высокие, чем в среднем по всем странам-участницам (453 балла), но немного меньшие, чем среднее по ОЭСР. При этом результаты, показанные московскими школьниками, были третьими в мире, после Китая (4 провинции) и Сингапура. По сравнению с предыдущими замерами 2000-2012 гг., имело место продолжение позитивной динамики результатов российских школьников.

Начиная с 2009 года показатели качества образования включаются в диагностическую батарею PISA, предъявляемую школьникам. Эти показатели постоянно расширяются и уточняются. Наиболее активно исследовалась роль дисциплинарного климата в классе [4; 14; 16; 19]. Было обнаружено, что дисциплинарный климат объясняет 11% межшкольных различий в достижениях по чтению в разных странах [14]. Однако в 12 из 65 стран связей обнаружено не было, что может свидетельствовать об определенной неоднозначности данной образовательной стратегии, являющейся частью целостной образовательной системы с ее приоритетами, ценностями и целями. Аналогичные противоречивые данные были обнаружены по параметру поддержки учителя [16].

Еще одной активно изучавшейся в рамках PISA педагогической переменной, характеризующей стиль обучения, является директивное (или прямое) обучение (или обучение под руководством учителя). Оно включает в себя технологии, в которых учитель является основным проводником обучения, в отличие от обучения при посредничестве учащихся, в котором учащиеся берут на себя больше ответственности за собственное обучение и обучение сверстников. Полученные в рамках проекта PISA 2015 результаты исследований влияния директивного обучения, оцениваемого как умение учителя объяснять научные идеи, на образовательные результаты по естествознанию говорят о его эффективности [5]. Однако данные, полученные на материале анализа результатов PISA 2018 [12; 16], в целом не подтверждают этот результат. Анализ показывает, что противоречивые результаты по директивному обучению связаны с его конкретной операционализацией в разных исследованиях (в частности, PISA 2015 и PISA 2018), а также с тем, что директивное обучение может иметь разные следствия в разных по уровню подготовленности классах: например, использоваться учителями в классах с невысокими достижениями намеренно с целью адаптировать обучение к уровню подготовки учащихся.

Роль другого педагогического фактора – стимуляции учителем вовлеченности в процесс чтения – исследовалась на материале данных 12 тысяч школьников из трех стран – Турции, Китая и Мексики [12]. Было показано, что во всех трех странах этот показатель вносил позитивный вклад в академические достижения школьников, однако различалась мера выраженности этого вклада: наиболее значимой она была для китайских школьников и наименее – для мексиканских.

Изучение роли психологических переменных как предикторов достижений по тестам PISA свидетельствует о вкладе двух главных факторов: внутренней мотивации и ее аналогов [3; 17] и академической самоэффективности [13]. Это в целом соответствует данным современных метаанализов, посвященных связи различных мотивационных и личностных факторов с академическими достижениями учащихся [10; 18].

В данной статье предпринимается попытка изучения роли образовательных и мотивационных факторов (при контроле пола и особенностей семейной среды) в академических достижениях подростков на материале PISA 2018 по читательской грамотности. Под читательской грамотностью понимается умение человека «понимать, использовать, оценивать тексты, размышлять о них и заниматься чтением для того, чтобы достигать своих целей, расширять свои знания и возможности, участвовать в социальной жизни» [15, с. 28]. На основе анализа литературы были выдвинуты конкретные гипотезы в отношении двух типов образовательных и двух мотивационных факторов. Во-первых, мы предположили, что директивное обучение, фрустрирующее потребность в автономии учащихся, будет вносить негативный вклад в успешность по читательской грамотности, а стимуляция вовлеченности – позитивный. Во-вторых, мы предположили, что увлеченность чтением будет выступать наиболее важным позитивным, а установка на фиксированные способности (в соответствии с теорией К. Двек) – негативным мотивационным предиктором достижений по чтению.

Выборка и методы исследования

Выборка. В исследовании использовалась репрезентативная выборка учащихся из исследования PISA 2018, включающая 7608 15-летних подростков из 263 образовательных организаций 43 регионов России. В их число входят 3861 (50,7%) девушек и 3747 (49,3%) юношей.

Методики. Данные, использованные в ходе анализа, были получены в PISA 2018 с помощью инструментария, разработанного консорциумом организаций специально для этого исследования – тестовых задач на оценку читательской грамотности, а также ряда шкал, оценивающих некоторые характеристики учащихся и учебной среды, надежность и валидность которых показана организаторами PISA [15]. Чтобы наиболее полно использовать данные PISA, при отборе переменных для анализа предикторов оценок по чтению были включены все доступные личностно-мотивационные характеристики учащихся, а также особенности восприятия ими школьной среды и учителя. Также дополнительно учитывались:

1) пол (0 – женский, 1 – мужской);

2) иммигрантский статус семьи (1 – коренной житель, 2 – иммигрант в первом или втором поколении);

3) язык общения в семье (1 – русский, 2 – другой);

4) прогулы уроков (если в ответе на вопрос «Как часто за последние две полные учебные недели с вами происходило следующее?» учащийся оценивал пункты «Я прогулял целый учебный день» и «Я прогулял несколько уроков», выбирая вариант «Никогда», то он получал 0, во всех остальных случаях – 1);

5) опоздания в школу (если в ответе на тот же вопрос учащийся оценивал пункт «Я опоздал на первый урок», выбирая вариант «Никогда», то он получал 0, иначе – 1);

6) социально‑экономический и культурный статус семьи. Оценки СЭС, представленные организаторами PISA в форме стандартизованного количественного индекса, образованы из трех других показателей с равными весами: максимального родительского уровня образования, максимального профессионального статуса родителей и имеющихся в доме предметов, включая книги (подробнее о составе и вычислении индекса СЭС см. [16, с. 216-217]).

В числе вероятных предикторов оценки по чтению рассматривались следующие характеристики образовательной и семейной среды в ее восприятии подростком.

1)  Характеристики поведения учителя:

• Стимуляция чтения (4 утверждения[1], например, «Преподаватель побуждает учащихся высказывать свое мнение о прочитанном тексте»);
• Дисциплинарный климат (5 утв., например, «Учащиеся не слушают, что говорит преподаватель»);
• Директивное обучение (4 утв., например, «Преподаватель ясно формулирует цели урока, чему мы должны научиться»);
• Учительская поддержка (4 утв., например, «Преподаватель оказывает дополнительную помощь учащимся, когда они в этом нуждаются»);
• Адаптивное обучение (3 утв., например, «Преподаватель планирует урок в соответствии с потребностями и уровнем подготовки моего класса»);
• Энтузиазм учителя (4 утв., например, «Энтузиазм преподавателя вдохновлял меня»);
• Воспринимаемая обратная связь от учителя (3 утв., например, «Преподаватель дает мне информацию о моих сильных сторонах при изучении этих предметов»).

2)  Характеристики школьной среды:

• Конкурентность среды (3 утв., например, «Учащиеся, похоже, ценят соревновательность»);
• Ценность сотрудничества (3 утв., например, «Учащиеся, похоже, ценят сотрудничество»);
• Подверженность буллингу (6 утв., например, «Другие учащиеся угрожали мне»).

3)  Выраженность родительской эмоциональной поддержки (3 утв., например, «Мои родители поддерживают меня, когда я сталкиваюсь с трудностями в учебе»).

Также в числе вероятных предикторов достижений по чтению рассматривался ряд мотивационных характеристик:

• Увлеченность чтением (5 утв., например, «Чтение – одно из моих любимых занятий»);
• Установка на фиксированные способности (1 утв.: «Ваш интеллект – это такая ваша характеристика, которую вы не можете значительно изменить»);
• Учебные цели мастерства (3 утв., например, «Моя цель – полностью освоить материал, изучаемый на уроках»);
• Мотивация достижения (3 утв., например, «Я нахожу удовлетворение в усердной работе»);
• Общая самоэффективность (5 утв., например, «Мне обычно все удается так или иначе»);
• Страх неудачи (3 утв., например, «Когда мне не удается что-либо сделать, я переживаю о том, что про меня подумают другие»);
• Соревновательная направленность (3 утв., например, «Мне нравится работать в ситуациях, в которых я могу соревноваться с другими»);
• Ценность школы (3 утв., например, «Усердные занятия в образовательной организации помогут мне получить хорошую работу»).

Четырехбалльная шкала ответов используется в каждой из перечисленных выше методик, за исключением учебных целей мастерства, где шкала ответов включает пять градаций. Оценки по перечисленным методикам были вычислены организаторами PISA на основе двухпараметрической модели IRT и стандартизированы по выборке из стран, входящих в OECD [16, с. 212].

Методы анализа данных. Для оценки вклада каждой из переменных в оценки PISA по чтению проводился регрессионный анализ (РА) в программе Mplus 8 методом максимального правдоподобия с робастной оценкой стандартных ошибок (MLR) при учете репликационных весов (их учет обеспечивает более точную оценку стандартных ошибок параметров, но не позволяет определить соответствие модели данным). В ходе РА и структурного моделирования применялась опция Mplus для анализа данных, полученных методом множественной импутации: с его помощью организаторами PISA были вычислены 10 возможных оценок по чтению. РА проводился пошагово: на первом шаге в модель были включены показатели, отражающие основные данные о ребенке и его семье, в следующую модель был добавлен блок переменных, характеризующих восприятие школьником школьной среды, учителя и родителей, и на последнем шаге в модель добавился блок мотивационных переменных.

Для анализа возможной опосредующей роли мотивационных факторов проводилось моделирование структурными уравнениями в Mplus 8 с использованием метода MLR и кластерной коррекции (с учетом распределения учащихся по школам), позволяющей получить несмещенные оценки стандартных ошибок [11]. Чтобы иметь возможность оценить соответствие модели данным, в ходе структурного моделирования вместо репликационных использовались полные веса. Статистическая значимость опосредованных эффектов оценивалась с помощью бутстреп-анализа (5000 выборок).

Результаты

Результаты пошагового РА (см. таблицу) демонстрируют, что в первой модели наибольшую прямую связь с оценками по чтению показывает СЭС. Пол также связан с оценками: они несколько ниже у мальчиков. Навыки чтения связаны с языком общения в семье: если он отличается от русского, то оценки ниже. Обратную связь с навыками чтения показали прогулы уроков и опоздания в школу.

После добавления в модель показателей воспринимаемой школьной среды и родительской поддержки (модель 2 в таблице) все рассмотренные переменные (за исключением прогулов уроков) продолжают показывать статистически значимую связь с оценками, при этом СЭС остается наиболее сильным предиктором. Из числа показателей школьной среды наибольшую прямую связь демонстрируют стимуляция чтения учителем и адаптивное обучение. Прямую связь также показывают родительская эмоциональная поддержка и ценность сотрудничества. Обнаружилась обратная связь навыков чтения с директивным обучением, воспринимаемой обратной связью от учителя, а также конкурентностью среды и подверженностью буллингу.

Таблица. Результаты пошагового РА для оценки по чтению

Примечания. * – p≤0,05; ** – p≤0,01; *** – p≤0,001.

В третьей модели регрессионный коэффициент пола становится незначимым, что может указывать на опосредованность связи оценок с полом некоторыми мотивационными факторами. Остальные предикторы остаются значимыми, хотя сила связи несколько снижается: особенно ярко это проявляется в отношении СЭС. Наибольшую по величине положительную связь с оценками по чтению показывает увлеченность чтением. Меньшую прямую связь продемонстрировали СЭС, стимуляция чтения учителем, адаптивное обучение, родительская эмоциональная поддержка, ценность сотрудничества в школе, из мотивационных переменных – отношение к соревнованию и страх неудачи. Обратную связь с баллами по чтению показали язык общения в семье, опоздания в школу, директивное обучение, воспринимаемая обратная связь от учителя, подверженность буллингу, конкурентность среды, из мотивационных переменных – установка на фиксированные способности и цели мастерства.

Сопоставление доли объясняемой дисперсии в каждой из моделей демонстрирует более важную роль личностно-мотивационных факторов и характеристик семьи, в то время как вклад воспринимаемой школьной среды и учителя несколько слабее. Итоговая модель объясняет 26% дисперсии оценок, что приблизительно соответствует доле вариации оценок по чтению между учащимися, объясняемой подобными факторами в исследовании, проведенном на материале PISA 2009, хотя и с меньшим набором переменных [2].

Для анализа опосредующих эффектов мотивационных факторов была составлена структурная модель, включающая в качестве основных предикторов переменные с наибольшей величиной регрессионных коэффициентов: увлеченность чтением и СЭС. Из характеристик школьной среды в модель были включены стимуляция чтения учителем и директивное обучение, между которыми допускалась ковариация. Также учитывался пол, вклад которого в оценки по чтению в разных моделях значительно различался, что указывает на возможность опосредованного эффекта. Предполагалось, что увлеченность чтением частично опосредует эффект других переменных на оценки по чтению. Оценка соответствия такой модели (см. рисунок) данным показывает отличное соответствие данным: χ2=114,07; df=9; CFI=0,953; RMSEA=0,040 (N=7139). Эта модель объясняет 19% дисперсии оценок по чтению.

Рис. Структурная модель зависимости оценок по чтению от основных мотивационных, образовательных и семейных предикторов (все коэффициенты стандартизованы и статистически значимы при p<0,001, за исключением коэффициента от директивного обучения к увлеченности чтением)

Из числа опосредованных эффектов статистически значимыми являются следующие: эффект пола (–0,06; p≤0,001), социально-экономического статуса (0,03; p≤0,001), стимуляции чтения (0,04; p≤0,001) и установки на фиксированные способности (–0,02; p≤0,001).

Обсуждение результатов

Академические достижения школьников – основной образовательный результат, к которому стремятся современные школьные системы во всем мире. Образовательные достижения по чтению важны не только сами по себе, но и в связи с тем, что они являются надежными предикторами достижений школьников в области математики и естественных наук. Результаты проведенного анализа подтвердили роль СЭС, и ранее заявляемого в числе важных предикторов академических достижений школьников [2], при том, что в России вклад СЭС является относительно небольшим, а сам СЭС достаточно высокий.

Особый интерес представляет группа образовательных факторов, на которые можно оказывать влияние, скорректировав подготовку учителей и сориентировав их на более продуктивные стратегии и способы работы. В отношении образовательных переменных была показана роль поддержки вовлеченности в чтение (стимуляции чтения) учителем как в собственно интерес подростков к чтению, так и в их читательскую грамотность. Также продемонстрирован негативный вклад в читательскую грамотность директивного обучения. Эти данные соответствуют международным [12] и могут быть успешно проинтерпретированы с позиций теории самодетерминации, на сегодняшний день наиболее известного подхода к пониманию источников внутренней мотивации. Так, директивное обучение – это попытка учителем контролировать весь ход обучения, самостоятельно регулируя действия детей в достаточно директивной, не допускающей обсуждений манере, что фрустрирует потребность учащихся в автономии и самодетерминации. Последствия такой фрустрации обычно выражаются в снижении автономной учебной мотивации, настойчивости и вовлеченности в учебный процесс, чем, вероятно, объясняется негативный эффект директивного обучения на достижения в чтении. Тем не менее, согласно полученным результатам, директивное обучение не оказывает непосредственного влияния на увлеченность чтением, что отражает различие между мотивацией учебной деятельности и более специфической мотивацией к чтению, во многом зависящей от других факторов, не связанных с деятельностью учителя. Даже использование педагогом специальных приемов стимуляции чтения, как видно из представленной модели, оказывает лишь весьма ограниченный эффект на увлеченность чтением, сравнимый по величине с эффектом СЭС и заметно меньший в сравнении с эффектом пола. Относительно слабая зависимость увлеченности чтением, выступающей в качестве важнейшего мотивационного фактора достижений в чтении, от условий образовательной среды убеждает в необходимости дальнейшего анализа определяющих его факторов, что составляет перспективу данного исследования.

Стратегия стимуляции чтения предполагает поддержку учителем продуктивной интеллектуальной активности учащихся, их вовлеченности в процесс изучения литературных текстов, направляя их на поиск связей между изучаемым материалом и их собственной жизнью, дискуссии по поводу обсуждаемого материала. Такого рода активности могут поддерживать другую базовую психологическую потребность – потребность в компетентности, позитивно сказывающуюся на интересе и увлеченности чтением. Полученная модель демонстрирует, что стимуляция чтения действительно поддерживает увлеченность чтением, но опосредованный эффект на достижения в чтении является лишь частичным наряду с наличием непосредственного эффекта. Иными словами, приемы стимуляции чтения поддерживают активность учащихся, приводящую к позитивным результатам и в тех случаях, когда она не сопровождается ростом увлеченности чтением. При этом применение стимуляции чтения для повышения активности учащихся может не приводить к росту увлеченности, если приемы стимулирования используются контролирующим образом, когда, несмотря на включение в соответствующую активность, условий для удовлетворения потребностей в компетентности и автономии не возникает. О возможности такого контролирующего использования приемов стимуляции чтения свидетельствует также довольно тесная прямая связь стимуляции чтения с директивным обучением, типичная не только для российской системы образования, но и для школ в странах ОЭСР [16]. Частым использованием приемов стимуляции чтения в контролирующем стиле можно объяснить также довольно умеренную величину их эффекта на увлеченность чтением.

Обнаружен существенный вклад мотивационных переменных и, в частности, увлеченности чтением в читательскую грамотность, что подтверждает более ранние данные, полученные на российской выборке [2]. Новый и важный результат, обнаруженный в рамках проведенного исследования с использованием данных PISA 2018, – показана роль установки на фиксированные способности как негативного предиктора академических достижений российских школьников и опосредованность этого вклада увлеченностью чтением. Этот результат представляет особый интерес в свете недавно разгоревшейся дискуссии о прогностической ценности двух имплицитных теорий интеллекта (см. метаанализ [20]) и их возможной культурной специфики [6].

Полученные результаты представляют интерес как в практическом плане, так и в теоретическом, во многом соответствуя как данным других анализов, проведенных в рамках проекта PISA [2; 12], так и психолого-педагогическим исследованиям, направленным на поиск образовательных и психологических источников академических достижений [1; 10; 18]. При этом ряд данных обнаруживает культурную специфику: так, в отличие от данных, полученных на школьниках Турции, Китая и Мексики [12], дисциплинарный климат оказался незначимым предиктором достижений по чтению.

Заключение

1. Представлены результаты анализа роли образовательных и мотивационных факторов при контроле пола и семейной среды в академических достижениях российских подростков на материале PISA 2018 по читательской грамотности. Показан вклад СЭС и пола в достижения по чтению и их связь с мотивацией чтения – более высокие достижения девочек и учащихся из семей с более высоким СЭС во многом обусловлены их большей увлеченностью чтением.
2. В отношении вклада образовательных факторов в читательскую грамотность показаны позитивная роль стимуляции учителем активной вовлеченности учащихся в чтение и негативная роль фрустрирующего ощущения автономии и компетентности директивного обучения.
3. Показан существенный вклад мотивационных переменных в читательскую грамотность (по PISA): увлеченность подростков чтением способствует достижению более высоких результатов, в то время как установка на фиксированные способности (по К. Двек) сочетается с меньшим уровнем достижений.

[1] Полный текст буклета с методиками доступен на сайте OECD: https://www.oecd.org/pisa/publications/Russian%20Federation.zip (см. в загруженном архиве файл «Russian (Russian Federation) For Student_Questionnaire_Booklet_MS.pdf»).

1. Гордеева Т.О., Сычев О.А. Мотивационные профили как предикторы саморегуляции и академической успешности студентов // Вестник Московского Университета. Серия 14: Психология. 2017. № 1. C. 67–87. DOI:10.11621/vsp.2017.01.92
2. Кузьмина Ю.В., Тюменева Ю.А. Читательская грамотность 15-летних школьников: значимость семейных, индивидуальных и школьных характеристик // Вопросы образования. 2011. № 3. C. 164–191. DOI:10.17323/1814-9545-2011-3-164-191
3. Akben-Selcuk E. Personality, motivation, and math achievement among Turkish students: Evidence from PISA data // Perceptual and Motor Skills. 2017. Vol. 124. № 2. P. 514–530. DOI:10.1177/0031512516686505
4. Berkowitz R., Moore H., Astor R.A., Benbenishty R. A research synthesis of the associations between socioeconomic background, inequality, school climate, and academic achievement // Review of Educational Research. 2017. Vol. 87. № 2. P. 425–469. DOI:10.3102/0034654316669821
5. Cairns D., Areepattamannil S. Teacher-Directed Learning Approaches and Science Achievement: Investigating the Importance of Instructional Explanations in Australian Schools // Research in Science Education. 2022. Vol. 52. № 4. P. 1171–1185. DOI:10.1007/s11165-021-10002-0
6. Costa A., Faria L. Implicit Theories of Intelligence and Academic Achievement: A Meta-Analytic Review // Frontiers in Psychology. 2018. Vol. 9. DOI:10.3389/fpsyg.2018.00829
7. Eriksson K., Lindvall J., Helenius O., Ryve A. Socioeconomic Status as a Multidimensional Predictor of Student Achievement in 77 Societies // Frontiers in Education. 2021. Vol. 6. DOI:10.3389/feduc.2021.731634
8. Gamazo A., Martínez-Abad F., Olmos-Migueláñez S., Jose Rodriguez-Conde M. Assessment of factors related to school effectiveness in PISA 2015. A multilevel analysis // Revista de Educacion. 2018. № 379. P. 56–84. DOI:10.4438/1988-592X-RE-2017-379-369
9. Harwell M., Maeda Y., Bishop K., Xie A. The Surprisingly Modest Relationship Between SES and Educational Achievement // The Journal of Experimental Education. 2017. Vol. 85. № 2. P. 197–214. DOI:10.1080/00220973.2015.1123668
10. Howard J.L., Bureau J., Guay F., Chong J.X.Y., Ryan R.M. Student Motivation and Associated Outcomes: A Meta-Analysis From Self-Determination Theory // Perspectives on Psychological Science. 2021. Vol. 16. № 6. P. 1300–1323. DOI:10.1177/1745691620966789
11. Hoyle R.H. Handbook of Structural Equation Modeling. New York: Guilford Publications, 2023. 801 p.
12. Koyuncu I., Firat T. Investigating Reading Literacy in PISA 2018 Assessment // International Electronic Journal of Elementary Education. 2020. Vol. 13. № 2. P. 263–275. DOI:10.26822/iejee.2021.189
13. Kriegbaum K., Jansen M., Spinath B. Motivation: A predictor of PISA’s mathematical competence beyond intelligence and prior test achievement // Learning and Individual Differences. 2015. Vol. 43. P. 140–148. DOI:10.1016/j.lindif.2015.08.026
14. Ning B., Van Damme J., Van Den Noortgate W., Yang X., Gielen S. The influence of classroom disciplinary climate of schools on reading achievement: a cross-country comparative study // School Effectiveness and School Improvement. 2015. Vol. 26. № 4. P. 586–611. DOI:10.1080/09243453.2015.1025796
15. OECD. PISA 2018 assessment and analytical framework. Paris: PISA, OECD publishing, 2019. 308 p. DOI:10.1787/b25efab8-en
16. OECD. PISA 2018 Results (Volume III): What School Life Means for Students’ Lives. Paris: PISA, OECD Publishing, 2019. 368 p. DOI:10.1787/acd78851-en
17. Ozel M., Caglak S., Erdogan M. Are affective factors a good predictor of science achievement? Examining the role of affective factors based on PISA 2006 // Learning and Individual Differences. 2013. Vol. 24. P. 73–82. DOI:10.1016/j.lindif.2012.09.006
18. Richardson M., Abraham C., Bond R. Psychological correlates of university students’ academic performance: A systematic review and meta-analysis // Psychological Bulletin. 2012. Vol. 138. P. 353–387. DOI:10.1037/a0026838
19. Scherer R. The Case for Good Discipline? Evidence on the Interplay Between Disciplinary Climate, Socioeconomic Status, and Science Achievement from PISA 2015 // Equity, Equality and Diversity in the Nordic Model of Education / Eds. T.S. Frønes et al. Cham: Springer International Publishing, 2020. P. 197–224.
20. Sisk V.F., Burgoyne A.P., Sun J., Butler J.L., Macnamara B.N. To What Extent and Under Which Circumstances Are Growth Mind-Sets Important to Academic Achievement? Two Meta-Analyses // Psychological Science. 2018. Vol. 29. № 4. P. 549–571. DOI:10.1177/0956797617739704