Разработка и апробация теста для измерения неэтического академического поведения студентов

В современной психологической литературе представлены несколько подходов к измерению этических установок у молодых людей. Это указывает на перспективность развития измерительных тестов и накапливания эмпирических данных по их применению. Цель статьи — продемонстрировать результаты теста, измеряющего отношение студентов к неэтическому академическому поведению. Данный тест является первым этапом создания комплекса измерений, позволяющих фиксировать изменения в отношении к этическим нормам, оценивать способность к этическому рассуждению и прогнозировать вероятность этически рискованного поведения. На основе существующего опыта разработан тест из 40 вопросов, позволяющий измерять неэтическое академическое поведение студентов (НАП). В ходе исследования были получены анкеты 184 респондентов (возрастной диапазон от 18 до 24 лет). Для обработки и анализа данных были использованы коэффициент альфа Кронбаха, индекс дискриминативности, анализ медиальных значений. Апробация анкеты показала ее валидность (коэффициент альфа Кронбаха 37 вопросов составил 0,8), позволила провести post-hoc анализ.

Введение

Академическое мошенничество среди студентов является значительной проблемой высшего образования как в мире [10; 18], так и в России [1–4]. Предполагается, что неэтичное поведение студентов не только ухудшает качество образования, но и может приводить к неэтичному поведению выпускников в их дальнейшей трудовой деятельности [15; 22].

Существует значительный корпус литературы, исследующей причины нечестного поведения в процессе обучения. В контексте российского образования стоит выделить эмпирические исследования рационализации и оправдания академического мошенничества студентами [1], связи методов преподавания и распространенности среди студентов практик списывания [3], взаимосвязи между восприятием академической честности среды университета и студенческой вовлеченностью [2]. Помимо отдельных причин в исследовательской литературе подчеркивается значимость культуры академической честности (academic integrity) [1; 5; 12; 20; 22; 23].

Снижение рисков нечестного поведения студентов –– важная задача, решение которой требует комплексного подхода и, прежде всего, мер на институциональном уровне [4]. Оценка эффективности принимаемых мер во многом завит от качества и точности методов измерения этических установок студентов и точности прогнозов рисков неэтического академического поведения. Одна из важных проблем измерения установок — это риск искажения результатов анкетирования из-за социально одобряемых ответов. Более того, имея комплексный и чувствительный инструмент измерения, можно отслеживать эффекты различных мер и оценивать эффективность институциональной среды с точки зрения формирования и поддерживания культуры «академической честности». Одной из краткосрочных интервенций является проведение этических тренингов. Метаанализ результатов кратких курсов по академической или деловой этике подтверждает эффективность этого инструмента [26]. Так, общий размер эффекта 106 курсов по RCR (responsible conduct of research, ответственное проведение исследований) составил d=48 [27], в метаанализе 45 исследований, в которых рассматривались программы обучения деловой этике, наблюдался общий размер эффекта d=28 [19]. Учитывая данный опыт, я решил разработать и проверить на валидность собственную анкету. В данной статье сначала дается краткий обзор существующих параметров измерения, затем описание категорий, составивших основу анкеты, после чего представляются результаты, полученные по итогу анализа ответов 184 респондентов, и post-hoc анализ для дальнейшей работы.

Проблема измерений морального рассуждения и поведения

Формализованная оценка моральных способностей человека впервые была предложена в рамках теории морального развития Лоренца Кольберга [16]. На данный момент существуют как минимум два теста по измерению морального суждения, опирающихся на эту теорию. Первый –– «Тест на определение проблем» (The Defining Issues Test) Джеймса Реста. Его начальная версия была опубликована в 1972 году, а 27 лет спустя исследователь предложил обновленный вариант (DIT 2). Второй вариант теста состоит из 17 дилемм. Описание каждой ситуации включает 12 соображений, указывающих возможные варианты разрешения дилеммы и представляющих различные типы морального мышления [24]. На данный момент существует адаптация данного теста применительно к проблемам науки и технологии [8]. Идеи Лоренца Кольберга легли в основу теста на моральную компетентность (The Moral Competence Test, MCT), разработанного в 1990 годы Георгом Линдом [7; 17]. Участников просят прочитать две разные дилеммы, в которых от главных героев требуется принимать моральные решения. После прочтения дилемм участникам предлагается оценить свой уровень согласия с решением главного героя по семибалльной шкале Лайкерта, а затем оценить шесть аргументов в пользу решения главного героя и шесть аргументов против решения главного героя.

Измерить метакогнитивные способности при выполнении моральных решений призван тест Майкла Мамфорда [14; 21]. Участникам теста предлагается ознакомиться с кейсами, взять на себя роль основного действующего лица в сценарии и выбрать два варианта ответа, которые, по их мнению, с наибольшей вероятностью разрешат обрисованную ситуацию. Этическую чувствительность в науке (Test for Ethical Sensitivity in Science, TESS) призван измерять текст Хенрикки Кларкберн. Задание предполагает, что учащиеся ответят на неструктурированную историю, после чего их ответы оцениваются в соответствии с уровнем признания этических проблем в предоставленном сценарии [9]. Олсен Хайтман предлагает измерить этические знания основных концепций и стандартов ответственного проведения исследований [13].

Вышеописанные тексты должны оценивать этическую компетентность. Они могут быть дополнены оценкой вероятности этически рискового поведения. Эта часть комплексного морального поведения оказывается хорошо разработана в исследованиях контрпродуктивного рабочего поведения (counterproductive work behavior). Так, например, коллектив авторов во главе с Полем Спектором создал тест, призванный проанализировать взаимосвязь между контрпродуктивным поведением на работе и предрасполагающими к этому факторами. При создании опросника (45 заданий) исследователи использовали пять шкал: злоупотребление по отношению к другим, производственные отклонения, саботаж, воровство и прогулы [25].

Многообразный опыт конструирования тестов и навыков, которые они призваны измерить, представлен в таблице 1. Данная классификация учитывает обзор Логана Стиле [26], который выделил тринадцать категорий.

Табл. 1. Классификация этических навыков, подлежащих количественному измерению

Методы

Основой предложенного мною теста стал опыт конструирования тестов по выявлению контрпродуктивного рабочего поведения (counterproductive work behavior) [6; 11; 25]. Данный тип теста позволяет выявить убеждения студентов о контрпродуктивном поведении, релевантном академической среде. Я специально использую термин «неэтическое академическое поведение» как более широкий, чем «поведение, нарушающее академические нормы». Деструктивное поведение включает области морального поведения, а именно, различение моральных принципов, нечестных академических действий (плагиат, списывание), несоблюдение учебной дисциплины, а также прямые формы насильственного поведения (например, буллинг). Также были выделы 5 категорий, подлежащих измерению: оправдание (рационализация) НАП; ощущение толерантности других к НАП; желание наказывать за НАП; личная способность противостоять НАП; этическая зрелость (способность рассуждать согласно универсальным моральным принципам). В таблице 2 представлена классификация вопросов теста по категориям и областям.

Респондентам предлагалось выразить степень согласия/несогласия с утверждением или оценить вероятность описываемого в вопросе поступка. Все вопросы анкеты предполагают ответы по шкале Лайкерта, от 1 до 5. В основе подсчетов лежит представление, что на одном конце этого спектра –– «этическая глухота», а на другом –– «этическая восприимчивость». Чем больше тест показывает этическую восприимчивость участника, тем менее участник предрасположен к НАП, и наоборот, чем более тест выявляет этическую глухоту респондента, тем более он предрасположен к НАП.

Табл. 2. Классификация вопросов теста по категориям и областям

При этом, поскольку шкала интервальная, предполагается, что ответы на некоторые вопросы будут стремиться к центру шкалы. В этой связи значимым отклонением будет отклонение на 0,5 балла влево, в сторону «этической глухоты», или на 0,5 балла вправо, то есть в сторону «этической восприимчивости». Часть вопросов сконструирована так, чтобы ответы выстраивались по «перевернутой» шкале. Это было сделано для того, чтобы отвечающему не была очевидна социально одобряемая стратегия ответов на тест. После того как результаты были получены, ответы «перевернутых» вопросов были пересчитаны следующим образом: чем больше баллов набирает респондент, тем он считается в большей степени этически восприимчивым.

Участники исследования

На данном этапе разработки теста важно установить, насколько разрабатываемый тест дает последовательные результаты. В ноябре 2021 года был проведен пилотный опрос, результаты которого позволили существенно переработать тест. После этого опрос проводился в трех группах студентов. Первый опрос проходил с 20 по 28 января 2022 года среди студентов четвертого года обучения (49 респондентов) образовательной программы «Маркетинг» (Высшая школа бизнеса, НИУ ВШЭ, Москва). Второй опрос проходил 3 и 4 февраля 2022 года среди учащихся первого курса (98 респондентов) программы «Международный бизнес и менеджмент» (НИУ ВШЭ, Санкт-Петербург). Третий опрос проходил с 9 по 20 июня 2022 года среди учащихся второго курса (37 респондентов) программы «Международный бизнес и менеджмент» (НИУ ВШЭ, Санкт-Петербург). На тот момент студенты уже прослушали курс «Бизнес-этика». Таким образом, в ходе исследования были получены анкеты 184 респондентов, возрастной диапазон которых составил от 18 до 24 лет.

Результаты

Полученные результаты проанализированы в SPPS на предмет надежности и валидности теста. Считается, что коэффициент альфа Кронбаха выше 0,7 означает приемлемый результат, а выше 0,8 –– хороший. Для нашего теста коэффициент альфа Кронбаха (Cronbach’s alpha) оказался равен 0,765. После этого были выделены «девиантные» вопросы, то есть вопросы, удаление которых приведет к повышению коэффициента альфа Кронбаха. При удалении трех вопросов (15, 18, 20) коэффициент альфа Кронбаха составил 0,803.

Для анализа анкеты для каждого вопроса были рассчитаны медиальные значения и индекс дискриминативности (табл. 3).

Индекс дискриминативности позволяет установить вопросы, ответы на которые будут различаться между респондентами, набравшими за весь тест наибольшее количество баллов, и респондентами, набравшими за весь текст наименьшее количество баллов. В случае анализируемой анкеты расчет индекса дискриминативности позволяет выявить вопросы анкеты, которые фиксируют расхождение между «этически глухими» и «этически восприимчивыми». Данный индекс может принимать значения от -1 до +1. Низкодискриминативными будут все вопросы с индексом меньше 0,15; вопросы с индексом выше 0,4 считаются высокодискриминативными. Из 40 вопросов теста 12 вопросов попали в интервал от 0,2 до 0,29; еще 7 вопросов попали в интервал от 0,30 до 0,39. Понимание, какой вопрос является дискриминативным, а какой –– нет, важен для составителя теста некоторыми аспектами. Некоторые вопросы, вопреки ожиданию, оказались недискриминативными. Самым дискриминативным вопросом (индекс 0,39) оказался вопрос 26, касающийся желания найти правильные ответы предстоящей контрольной в интернете, а вот вопрос о готовности сделать шпаргалку, чтобы списать на контрольной (вопрос 27), не выявил разницы в ответах «этически глухих» и «этически восприимчивых» респондентов.

Расчет медиальных значений позволил ранжировать вопросы по возрастанию «этической восприимчивости» (табл. 3). Дизайн теста не предполагает правильного ответа, например, 5 из 5. Три балла по пятибалльной шкале представляют собой нейтральную позицию. Можно предположить, что респонденты в ответах на многие вопросы будет занимать именно нейтральную позицию, поэтому стоит обратить внимание на вопросы, отклоняющиеся от центра. На один балл и более отклоняются в сторону «этической восприимчивости» средние значения 8 вопросов. Шесть из них относятся к буллингу (8, 25, 9, 2, 10, 1) и только два вопроса –– к нечестному этическому поведению: вопрос (7) об ответственности среды за этическое поведение и прямой вопрос (33) о готовности к плагиату. Интересно, что, если вопрос 33 является дискриминативным (хотя это свойство не является ярко выращенным), то вопрос 7 вообще не является дискриминативным. В строну «этической глухоты» на один или более баллов отклоняются от центра средние значения семи вопросов. Из них три вопроса связаны с ощущением толерантности других к НАП (6, 14,12) и четыре вопроса касаются привлечения администрации к наказанию провинившихся (19, 32, 29, 22).

При анализе медиальных значений каждого из вопросов было решено проверить последовательность данных сравнением того, как ответили респонденты двух относительно различных групп, к которым принадлежат респонденты. Были выделены две большие и относительно равные группы: 1) студенты первого года обучения, «первокурсники» (98 респондентов) и 2) студенты старших курсов, второго и четвертого года обучения, «старшекурсники» (86 респондентов).

Сравнение медиальных значений по каждому вопросу позволяет видеть, что обе группы показывают общую динамику, редко разница между ними достигает более половины балла. Однако на некоторое вопросы первокурсники в целом более склонны выбирать «более» этичные ответы. Так, медианы ответов первокурсников на семь вопросов (26, 15, 13, 3, 27, 11) отличаются на полбалла в сторону «этической восприимчивости» в сравнении ответами старшекурсников. В то же время нет ни одного вопроса, где медианы ответов старшекурсников отклонялись бы от ответов первокурсников более чем на полбалла в сторону «этической восприимчивости». Самая большая разница, почти в балл, имеет место в ответах на тринадцатый вопрос, касающийся частоты опозданий студентов на занятия. Стоит отменить, что все семь вопросов, кроме пятнадцатого, не имеют существенно значимого индекса дискриминации.

Апробация анкеты является важным результатом, так как позволяет выявить значения для каждого вопроса, чтобы в дальнейшем иметь возможность сравнительного анализа. Статистический анализ данных респондентов позволит сделать выводы об эффективности каждого из вопросов анкеты и служит основой для дальнейшего ее совершенствования путем сокращения и/или изменения некоторых вопросов.

Табл. 3. Анкета, средние баллы и индекс дискриминативности

Примечание: вопросы анкеты ранжированы по среднему значению баллов, поставленных всеми 184 респондентами. В двух столбцах приведена разбивка средних баллов двух групп студентов 1) первокурсников (98 респондентов) и 2) студентов старших курсов, второго и четвертого года обучения (86 респондентов). В последнем столбце указан индекс дискриминативности, рассчитанный на основании ответов всех респондентов.

Заключение

Тесты на этические навыки могут быть востребованы при создании и оценке культуры честности в университете. Имея надежные измерительные инструменты, можно фиксировать изменение этических норм в конкретных студенческих коллективах. Обзор имеющихся этических тестов позволяет говорить об успешности формализуемых количественных измерений. Описанный в статье опыт конструирования системы измерений и проверки ее качества –– лишь первый шаг на пути создания комплекса инструментов оценки морального мышления и поведения. В дальнейшем предполагается совершенствовать данный инструмент путем post-hoc анализа, то есть пересмотра тестовых заданий по итогам эмпирических проверок.

1. Дремова О. В., Малошонок Н. Г., Терентьев Е. А. В поисках справедливости в университете: критика и оправдание практик академического мошенничества студентами [Электронный ресурс] // Мониторинг общественного мнения: экономические и социальные перемены. 2020. № 4. С. 366–394. doi:10.14515/monitoring.2020.4.972
2. Малошонок Н. Как восприятие академической честности среды университета взаимосвязано со студенческой вовлеченностью: возможности концептуализации и эмпирического изучения [Электронный ресурс] // Вопросы образования. 2016. № 1. C. 35–60. doi:10.17323/1814-9545-2016-1-35-60
3. Сагитов Е.Б., Шмелева Е.Д. Как педагогические практики связаны со списыванием среди студентов российских вузов [Электронный ресурс] // Вопросы образования. 2022. № 1. С. 138–159. doi:10.17323/1814-9545-2022-1-138-159
4. Шмелева Е.Д., Сагитов Е.Б. Списывание и плагиат: установки студентов и реакция преподавателей: информационный бюллетень. М.: НИУ ВШЭ, 2022. 40 с.
5. Awdry R., Ives B. International Predictors of Contract Cheating in Higher Education // Journal of Academic Ethics. 2023. Vol. 21(2). P. 193–212. doi:10.1007/s10805-022-09449-1
6. Berry C.M., Carpenter N.C., Barratt C.L. Do other-reports of counterproductive work behavior provide an incremental contribution over self-reports? A meta-analytic comparison // Journal of Applied Psychology. 2012. Vol. 97(3). P. 613–636. doi:10.1037/a0026739
7. Biggs D.A., Colesante R.J. The Moral Competence Test: An examination of validity for samples in the United States // Journal of Moral Education. 2015. Vol. 44(4). P. 497–515. doi:10.1080/03057240.2015.1087390
8. Borenstein J., Drake M.J., Kirkman R., Swann J.L. The Engineering and Science Issues Test (ESIT): A Discipline-Specific Approach to Assessing Moral Judgment // Science and Engineering Ethics. 2010. Vol. 16(2). P. 387–407. doi:10.1007/s11948-009-9148-z
9. Clarkeburn H.A. Test for Ethical Sensitivity in Science // Journal of Moral Education. 2002. Vol. 31(4). P. 439–453. doi:10.1080/0305724022000029662
10. Clinciu A.I., Cazan A.-M., Ives B. Academic Dishonesty and Academic Adjustment Among the Students at University Level: An Exploratory Study // SAGE Open. 2021. Vol. 11(2). doi:10.1177/21582440211021839
11. Cohen A., Diamant A. The role of justice perceptions in determining counterproductive work behaviors // The International Journal of Human Resource Management. 2017. Vol. 30(20). P. 2901–2924. doi:10.1080/09585192.2017.1340321
12. Eaton S.E. Plagiarism in higher education: Tackling tough topics in academic integrity. Bloomsbury Publishing, 2021. 252 p.
13. Heitman E., Olsen C.H., Anestidou L., Bulger R.E. New Graduate Students Baseline Knowledge of the Responsible Conduct of Research // Academic Medicine. 2007. Vol. 82(9). P. 838–845. doi:10.1097/ACM.0b013e31812f7956
14. Helton-Fauth W. et al. A New Approach to Assessing Ethical Conduct in Scientific Work // Accountability in Research. 2003. Vol. 10(4). P. 205–228. doi:10.1080/714906104
15. Klein H.A., Levenburg N.M., McKendall M., Mothersell W.M. Cheating During the College Years: How do Business School Students Compare? // Journal of Business Ethics. 2007. Vol. 72(2). P. 197–206. doi:10.1007/s10551-006-9165-7
16. Kohlberg L. The psychology of moral development: the nature and validity of moral stages. San Francisco: Harper & Row, 1984. 729 p.
17. Lind G. The Meaning and Measurement of Moral Judgment Competence Revisited — A Dual-Aspect Model // Contemporary Philosophical and Psychological Perspectives on Moral Development and Education / W. Willis, D. Faso (eds.). Cresskill, N.J: Hampton Press, 2008. P. 185–220.
18. Mahmud S., Bretag T., Foltýnek T. Students’ Perceptions of Plagiarism Policy in Higher Education: a Comparison of the United Kingdom, Czechia, Poland and Romania // Journal of Academic Ethics. 2018. Vol. 17(3). P. 271–289. doi:10.1007/s10805-018-9319-0
19. Medeiros K.E. et al. What is Working, What is Not, and What We Need to Know: a Meta-Analytic Review of Business Ethics Instruction // Journal of Academic Ethics. 2017. Vol. 15(3). P. 245–275. doi:10.1007/s10805-017-9281-2
20. Morris E.J. Academic integrity matters: five considerations for addressing contract cheating // International Journal for Educational Integrity. 2018. Vol. 14. doi:10.1007/s40979-018-0038-5
21. Mumford M.D. et al. Validation of Ethical Decision Making Measures: Evidence for a New Set of Measures // Ethics & Behavior. 2006. Vol. 16(4). P. 319–345. doi:10.1207/s15327019eb1604_4
22. Payan J., Reardon J., McCorkle D.E. The Effect of Culture on the Academic Honesty of Marketing and Business Students // Journal of Marketing Education. 2010. Vol. 32(3). P. 275–291. doi:10.1177/0273475310377781
23. Pell D.J., Amigud A. The Higher Education Dilemma: The Views of Faculty on Integrity, Organizational Culture, and Duty of Fidelity // Journal of Academic Ethics. 2023. Vol. 21. P. 155–175. doi:10.1007/s10805-022-09445-5
24. Rest J.R., Narvaez D., Thoma S.J., Bebeau M.J. DIT2: Devising and testing a revised instrument of moral judgment // Journal of Educational Psychology. 1999. Vol. 91(4). P. 644–659. doi:10.1037/0022-0663.91.4.644
25. Singh R., Ramdeo S. Contemporary Perspectives in Human Resource Management and Organizational Behavior. Cham: Palgrave Macmillan, 2023. 254 p.
26. Steele L.M. et al. How Do We Know What Works? A Review and Critique of Current Practices in Ethics Training Evaluation // Accountability in Research. 2016. Vol. 23(6). P. 319–350. doi:10.1080/08989621.2016.11865
27. Watts L.L. et al. Are Ethics Training Programs Improving? A Meta-Analytic Review of Past and Present Ethics Instruction in the Sciences // Ethics & Behavior. 2017. Vol. 27(5). P. 351–384. doi:10.1080/10508422.2016.1182025