Самооценка как инструмент определения эффективности корпоративных образовательных программ

Существующие инструменты оценки эффективности образовательных программ различаются по степени эффективности, возможности применения, затратам. Метод самооценки, который предполагает определение слушателями образовательных программ уровня выраженности различных качеств до и после окончания обучения. Метод оценки слушателями собственных компетенций имеет существенные ограничения, связанные с социальной желательностью. Тем не менее в рамках статьи анализируются возможности использования данного метода для оценки эффективности корпоративных образовательных программ. Представлены результаты использования метода самооценки для оценки эффективности корпоративных образовательных программ, проведенных в крупных организациях. Обосновываются возможности и ограничения использования различного рода критериев для оценки себя слушателями. Делается вывод о возможности использования метода самооценки в случае фокуса образовательных программ на развитие метакомпетенций руководителей. В статье приводятся данные оценки результатов обучения, обсуждаются потенциальные причины полученных в рамках проектов различий, а также возможности и ограничения использования метода самооценки для оценки образовательного эффекта программ корпоративного обучения.

Самооценка как инструмент определения эффективности корпоративных образовательных программ

Дмитриева М.М.

Корпоративный Университет ПАО «ГАЗПРОМ НЕФТЬ», г. Санкт-Петербург, Российская Федерация

ORCID: https://orcid.org/0000-0002-2621-5670, e-mail: Dmitrieva.MM@gazprom-neft.ru

Умнов С.В.

ФГБУ «Национальный институт качества Росздравнадзора», г. Москва , Российская Федерация

ORCID: https://orcid.org/0000-0001-8496-2925, e-mail: umnov@clever-pro.ru

Подольский Д.А.

ФГАОУ ВО «Национальный исследовательский университет «Высшая школа экономики» (ФГАОУ ВО «НИУ ВШЭ»), г. Москва, Российская Федерация

ORCID: https://orcid.org/0000-0003-1437-3927, e-mail: bicus@bk.ru

Существующие инструменты оценки эффективности образовательных программ различаются по степени эффективности, возможности применения, затратам. Метод самооценки, который предполагает определение слушателями образовательных программ уровня выраженности различных качеств до и после окончания обучения. Метод оценки слушателями собственных компетенций имеет существенные ограничения, связанные с социальной желательностью. Тем не менее в рамках статьи анализируются возможности ис пользова ния данного метода для оценки эффективности корпоративных образовательных программ. Представлены результаты использования метода самооценки для оценки эффективности корпоративных образовательных программ, проведенных в крупных организациях. Обосновываются возможности и ограничения использования различного рода критериев для оценки себя слушателями. Делается вывод о возможности использования метода самооценки в случае фокуса образовательных программ на развитие метакомпетенций руководителей. В статье приводятся данные оценки результатов обучения, обсуждаются потенциальные прич ины полученных в рамках проектов различий, а также возможности и ограничения использования метода самооценки для оценки образовательного эффекта программ корпоративного обучения.

Ключевые слова: корпоративное обучение, управленческие компетенции, модели оценки эффективности, самооценка, инструменты и методы оценки, образовательные цели.

CC-BY-NC

Том 13. № 4. С. 189-202.

Для цитаты: Дмитриева М.М., Умнов С.В., Подольский Д.А. Самооценка как инструмент определения эффективности корпоративных образовательных программ [Электронный ресурс] // Психолого-педагогические исследования. 2021. Том 13. № 4. C. 189-202. DOI:10.17759/psyedu.2021130412

Self-assessment of Competencies as a Tool for Assessing the

Effectiveness of Corporate Educational Programs

Maria M. Dmitrieva

Corporate university Gazprom Neft, Saint Petersburg, Russia

ORCID: https://orcid.org/0000-0002-2621-5670, e-mail: Dmitrieva.MM@gazprom-neft.ru

Sergey V. Umnov

National Quality Institute of the Federal Health Oversight Service, Moscow, Russia ORCID: https://orcid.org/0000-0001-8496-2925, e-mail: umnov@clever-pro.ru

Dmitry A. Podolskiy

National Research University “Higher School of Economics”, Moscow, Russia ORCID: https://orcid.org/0000-0003-1437-3927, e-mail: bicus@bk.ru

The existing tools for assessing the effectiveness of educational programs differ in the degree of effectiveness, applicability, and costs. The self-assessment method, which involves the determination of the level of expression of various qualities by students of educational programs before and after graduation. The method of assessing students' own competencies has significant limitations associated with social desirability. Nevertheless, the article analyzes the possibilities of using this method to assess the effectiveness of corporate educational programs. The results of using the self-assessment method to assess the effectiveness of corporate educational programs conducted in large organizations are presented. The possibilities and limitations of using various kinds of criteria for evaluating themselves by listeners are substantiated. The conclusion is made about the possibility of using the self­assessment method in the case of the focus of educational programs on the development of meta-competencies of managers. The article provides data on the assessment of learning outcomes, discusses the potential reasons for the differences obtained in the framework of projects, as well as the possibilities and limitations of using the self-assessment method to assess the educational effect of corporate training programs.

Keywords: corporate training programs, management competencies, performance evaluation models, learning outcomes, tools and methods of assessment, educational goals.

Том 13. № 4. С. 189-202.

For citation: Dmitrieva M., Umnov S., Podolskiy D. Self-assessment of Competencies as a Tool for Assessing the Effectiveness of Corporate Educational Programs. Psikhologo-pedagogicheskie issledovaniya = Psychological-Educational Studies, 2021. Vol. 13, no. 4, pp. 189-202. DOI:10.17759/psyedu.2021130412 (In Russ.).

Введение

Все больше организаций уделяют внимание оценке эффективности системы обучения и развития персонала. Целью проведения корпоративного обучения является повышение эффективности работы компании за счет более совершенных компетенций персонала [1]. Наиболее распространенным в системе корпоративного обучения является компетентностный подход [8]. Под компетенцией понимают личностные и профессиональные ресурсы для решения определенного круга задач, описанные в терминах поведения [13]. В противовес абстрактным и теоретическим знаниям компетентностный подход предполагает формирование в результате обучения навыков и умений, направленных на решение тех или иных значимых с точки зрения организации задач [3]. Современные тенденции корпоративного обучения руковод ителей предполагают различные форматы оценки эффектив ности обуче ния. При этом все больший фокус делается на о це нку не отдельных управленческих компетенций (умения четко ставить задачи, контролировать работу сотрудников и т.д.), а общих умений (метакомпетенций), направленных на расширение перспективы, управле ние собственным развитием [11].

Подходы к оценке эффективности обучения

Эффективность корпоративных образ овательных программ часто оценивают по произведенным затратам [6]. В этом случае учитывается соотноше ние объема произведенных затрат на обучение персонала и эконом ический результат обучения. Оценивать эффективность образовательной программы можно и на основе соот ноше ния исходных целей и достигнутого результата [5]. Этот подход может успешно применяться в том случае, если цели обучения сформулированы конкретно и возможно измерить уровень развития компетенций участников до и после обучения. Оценка эффектив ности обучения может включать в себя оценку показателей производительности труда и оценку показателя ROI или возврата на инвестиции [16]. Проведение оценки эффекта обучения возможно на основе оценки деятельности специалистов (процессов) или оценки качества результата работы [10].

Одна из проблем существующих моделей оценки эффективности обучения заключается в сложности их операционализации [7]. Составление соответствующих оценочных инструмент ов предполагает детальное описание критериев и методику их оценки [4]. Многие исследователи отмечают ограничения в использовании инструментов оценки эффе кт а обучения [15]. Особенно сложно оценить результат обучения, когда цели обучения недостаточно четко сформулированы или обучение направлено на форм ирование сложных умений или метакомпетенций, имеющих множество различных показателей и проявлений. Многие авторы обращают внимание на сложности, связанные с оценкой эффективности обучения, в частности, дороговизну систематического анализа эффективности, ограниченность в инструме нтах оценки и недостаточный учет специфики образовательного процесса [20].

Одной из самых распространенных моделей оценки эффективности обучения является модель А. Киркпатрика, которая описывает измерение четырех видов результатов обучения: 191

Том 13. № 4. С. 189-202.

реакции, знаний, поведения и результатов [12]. Реакция - это оценка отношения участников к образовательной программе. Примером инструментов и методов оценки, предлагаемых учеными, обычно являются анкеты, формы обратной связи, основанные на субъективных оценках, онлайн-оценка и т.д. Зна ния - это оце нка степени усвоения участниками информации и отработки навыков. Инструменты и методы, которые можно использовать для оценки уровня обучения, - это оценка или тесты до и после обучения, интервью или наблюдения можно использовать до или после, хотя это требует много времени и может быть непоследовательным. Поведение - это оценка степени, в которой поведение участников на работе изменилось в результате обучения. М не ние обучаемых в форме самооценки, 360­градусная обратная связь - полезный метод оценки этого уровня. Результаты - это оценка степени, в которой на результаты повлияла программа обучения. Моральный дух, количество несчастных случаев, удовлетворение от работы и другие показатели могут быть предметом оценки на данном уровне.

Основным преимуществом подхода Киркпатрика является ориентация на поведенческие результаты учащихся [2]. В последствии модель А. Киркпатрика была дополнена Дж. Филипсом пятым уровнем оценки - ROI, или отдачей от инвестиций в обучение [22]. Высказывались и критические замечания к модели Киркпатрика: четыре описанных уровня оценки являются неполными и основаны на узком понимании оценки системы обучения [17; 24].

Самооценка компетенций как метод оценки эффективности обучения

В случае оценки таких результатов обучения, как навыки, знания и компетенции, применяется метод самооценки (self-assessment). В этом случае сами слушатели оценивают прирост компетенций по итогам образовательной программы. Вывод об изменениях в уровне развития компетенций можно сделать на основе сравнения самоотчетов слушателей до и после окончания обучения. Слабые стороны данного метода заключаются в вероятности ошибок ввиду субъективности, эффекта социальной желательности, различиях в интерпретациях предлагаемых для оценки показателей. Не всегда слушатель самостоятельно может оценить уровень своих знаний без помощи преподавателя или эксперта [9]. При этом подобный метод оценивания не требует значительных временных затрат, а также позволяет оценить изменения уровня развития компетенций, которые сложно оценить другими методами. Метод самооценки используется и как инструмент обучения, позволяющий повысить мотивацию сотрудника к саморазвитию [19; 24].

Результаты использования самооценки для оценки эффективности обучения

Самооценка компетенций как метод оценки эффективности обучения был использ ова н в рамках реализации корпоративных программ обучения двух крупных организаций.

Анализ образовательной программы № 1.

Первая образовательная программа была разработана и проведена корпоративным университетом крупной производственной компании. Целью программы было развитие у руководителей не только управленческих умений, но и способности мыслить глобально, формировать широкий кругозор, развивать способность принимать нестандартные решения. Для реализации подобной цели была разработана образовательная программа, включающая в себя шесть образовательных треков: русский язык, искусство, музыка, психология, философия, экономика. Сотрудники (слушатели программы) сами выбирали трек, в котором хотели бы принять участие. Длительность каждого трека составляла три месяца. Программа

Том 13. № 4. С. 189-202.

проводилась в онлайн-формате на базе специально разработанного приложения. Образовательные форматы включали в себя: вебинары, лекции, практические занятия, дискуссии. Система оценки эффекта должна была соответствовать следующим критериям: не требовать значительного времени на заполнение оце ноч ных методик, показать динамику изменений в результате образовательной программы, учитывать предметное разнообразие треков.

Участники: в программе приняли участие 234 сотрудника компании (среди слушателей мужчины составили 73%, 27% - женщины, средний возраст слушателей программы - 33,2 года). Из них оценку на входе заполнили 122 участника (52% от общего количества участников программы). На выходе из программы анкету заполнили 53 участника (44% от числа заполнивших анкеты на входе в программу). Инструмент оце нк и эффекта программы: для оценки эффекта образовательной программы использовался инструмент самооценки слушателями своих компетенций до и после прохождения курса. Был разработан список характеристик, которые участники программы оценивали два раза: до и после окончания программы. Критерии для оценки были разработаны на ос нове серии экспертных интервью с кураторами и преподавателями образовательных треков. Эксперты выбирали компетенции, которые, с их точки зрения, могли бы измениться в рамках образовательной программы. Так, все выбранные критерии отражали специфику образовательной активности слушателей в рамках треков. Все критерии были сформулированы в компетентностном ключе, предполагающем наличие возможности наблюдать указанные характеристики в поведении. Авторами был составлен единый список, кот оры й включал в себя 14 характеристик. Участникам программы предлагалось оценить степень выраженности у себя данных характеристик по 10-балльной шка ле: от 1 (данное качество не выражено) до 10 (максимальная степень выраженности соответствующего качества).

Предварительное тестирование показало, что характеристики сформулированы понятно и не вызывают дополнительных вопросов по конкретизации смысла. Также в качестве шкалы была выбрана 10-балльная шкала, чтобы повысить урове нь дифференциации оценок, поскольку все оцениваемые участниками характеристики имели высокий урове нь социальной желательности и могли быть оценены позитивно высоко. Участникам при этом описывались только минимальные и максимальные значения, предполагая, что промежуточные значения будут интуитивно понятны. Опрос участников показал, что шкала не вызвала затруднений при оценке.

В качестве дополнительного контроля самооценки участников среди личностных характеристик были выделы те, которые в наименьшей степени должны были измениться в результате программы, поскольку являются более устойчивыми личностными особенностями: энергичность, осознанная жизненная позиция, аналитические способности, креативность. Мы предполагали, что разница в оценке по данным характеристикам до и по итогам завершения программы будет минимальной. Дополнительно к оценке компетенций участникам предлагалось оценить степень их вовлеченности в образовательную программу, понимаемую как активность, измеряемую как среднее количество часов в неделю, которое участники планировали и реально уделяли обучению.

Оценка времени, которое участники уделяли обучению, позволяет определить для будущих программ объем заданий для самоподготовки с учетом реальной загруженности участников, а также целесообразно учитывать в дальнейшем данный показатель для

Том 13. № 4. С. 189-202.

индивидуальной оценки участников.

Результаты оценки эффекта обучения

Среднее значение количества часов в неделю, которое участники уделяли обучению, по всем ответившим участникам было 3,8 (количество часов, которые участники готовы уделять программе) и 3,2 (количество часов, которые участники реально уделяли программе в неделю). Из всей выборки 20% ответивших на вопрос о планируемой загрузке на обучение не были готовы оценить в часах количество времени, которое они готовы выделить на обучение в рамках программы. Только 25% планировали выделить более 4 часов в неделю на обучение. 10% участников перевыполнили свой собственный план по времени, выделенного на обучение. Мы не обнаружили корреляцию между общим показателем удовлетворенности обучением (полезность, качество организации процесса обучения). Да нны й показатель оценивался по шкале от 1 (не понравилось) до 5 (очень понравилось).

Результаты описательной статистики по самооценке участниками личностных характеристик представлены в табл. 1.

Изменения в оценке критериев до старта и по итогам программы были положительными для всех оцениваемых характеристик. Наименьшие изменения по оценкам участников касались умения исследовать проблему (0,45), осознанной жизненной позиции (0,52) и умения решать проблемы (0,52). Наибольшие изменения касались таких характеристик, как навыки рефлексии (1,21), умение управлять собственным развитием (1,41), навыки обоснования и аргументации своей позиции (1,24). Результаты t-теста для парных выборок показывают значимос ть различий данных до и после окончания программы. Полученные результаты отражают согласованное мнение экспертов - разработчиков и тьюторов образовательных треков - об эффекте обучения. Рефлексия была важнейшим инструментом в рамках реализации образовательной программы, поскольку слушателям задавались вопросы об их отношении к представляемому материалу, об их видении и понимании обсуждаемых проблем.

Мы проверили, существует ли взаимосвязь между оценкой общей вовлеченности в программу, оцениваемой в часах, и оценкой выраженности изменений по итогам обучения. Общий уровень вовлеченности значимо коррелирует с такими показателями, как эне ргичность (r=0,47, p=,001) и любоз нательность (r=0,60, p=,001), а также с готовностью обсуждать и думать совместно (r=0,36, p=,05). Данный результат показывает, что показатели вовлеченности в большей степени связаны с характеристиками, которые в меньшей степени подвержены изменениям в рамках программы.

Анализ образовательной программы № 2.

Вторая образовательная программа проводилась для руков од ителей государственной службы в течение 6 месяцев и включала в себя 3 модуля длитель ностью 1 неделя каждый. Целью программы было сформировать лидерские компетенции и готовность отвечать на современные вызовы для государственного управления. Содержательно программа включала в себя следующие блоки: 1) развитие командного взаимоде йствия и лидерства, 2) развитие управле нческих навыков, 3) развитие ком петенций пр оектного управления, 4) взаимодействие общества, бизнеса и власти. Занятия проводились в форме интерактивных лекций, групповых дискуссий и тренингов. Вся программа проводилась в очном формате.

Участники программы: слушателями программы выступили руководители различного уровня в системе государственного управления, представляющие региональные власти субъектов Российской Федерации. Среди слушателей мужчины составили 66%, 34% - женщины. Средний возраст слушателей программы - 39,7 лет. В качестве инструмента оценки эффекта программы был выбран метод самооценки слушателями своих компетенций до и после окончания программы. С целью оценки возможного влияния программы на указанные характеристики предварительно эксперты программы оценивали в баллах возможное влияние тематических блоков программы на указанные качества (по шкале от 0 - нет влияния на данное качество до 3 - высокое влияние соответствующего блока программы на данное качество). Оценки экспертов находились в диапазоне от 1,3 до 2,7, при среднем значении - 2,1. Это позв оляет нам говорить о возможности ис пользования данной модели

Том 13. № 4. С. 189-202.

для оце нк и эффекта программы.

Поскольку самооценка по характеристикам, предложенным слушателям, подвержена эффекту социальной желательности, дополнительно был использован опросник Майрс- Бриггс. Опросник заполнялся слушателями программы до старта образовательных мероприятий.

Результаты оценки эффекта обучения

В табл. 2 представлены результаты сравнения данных самооценки компетенций на момент начала и окончания программы. Учитывая, что максимальные значения выраженности личностно-профессиональных ресурсов составляют 10 баллов, максимально возможная разница между началом и окончанием программы составляет 10 баллов.

В среднем изменение личностно-профессиональных ресурсов между началом и окончанием программы составляет 1,7 баллов. Наибольшие различия наблюдаются по компетентностям «лидерские качества», «навыки управления», «умение мыслить широко», а также «командность».

Дифференциация оценок после программы (мера разброса оценок) увеличилась по сравнению с данными, полученными до старта программы. Так, стандартное отклонение до старта программы составило - 1,15, а после окончания программы - 1,32 (различия значимы на уровне 0,001). Данные могут говорить о влиянии программы на оценку собственных управленческих качеств за счет более точного понимания самих управленческих практик и возможности более точно оценить себя по соответствующим характеристикам. Нами был проведен корреляционный анализ (табл. 3).

Итог образовательной программы заключается в формирова нии у участников более рациональной и критичной оценки своих компетенций. Так, сами участники отмечали, что по итогам программ «Недостаточно времени выделяю на саморазвитие» - подобные «открытия» по итогам программы являются сильными стимулами и мотиваторами, обеспечивающими дальнейшее развитие участников за пределами программы и повыше ние

Том 13. № 4. С. 189-202.

их управленческой и профессиональной результативности.

Участники, которые обладают открытостью новому (на основе данных опросника мотивации), в большей степени демонстрируют позитивный поведенческий репертуар в процессе обучения по оце нке модераторов (в среднем - в 2 раза чаще), что является позит ив ным фактором, обеспечивающим достижение образовательного эффекта программы. Также участники с высокими показателями по открытости новому достигают большего эффекта от программы (на основе данных оценки изменений профессиональных целей).

Выводы

Полученные в рамках данного исследования результаты можно интерпретировать следующим образом.

1. Результаты использования метода самооценки компетенций до и после окончания программы позволили получить качественные данные, несмотря на риск эффекта социальной желательности в оценке своих компетенций [14]. В соответствии с результатами других исследований [16; 23] мы получили данные, свидетельствующие о том, что участники не склонны переоценивать свои результаты. Самооценка компетенций на выходе из программы может быть ниже самооценки на входе в программу вследствие индивидуальных особенностей участников, выбора критериев оценки и др. Возможно, это связано с тем, что по итогам программы слушатели стали более адекватно и критично относиться к оценке своих компетенций, чем до старта программы.

Также изменения в результатах самооценки участников образовательной программы могут касаться особенностей выбора индивидуальной стратегии обучения. Так, исследования свидетельствуют, что осознанный выбор стратегии обучения с учетом особенностей конкретной задачи повышает шансы человека на достижение лучшего образовательного эффекта [18]. При этом важно учитывать, что представление респондента о стратегии обучения может отличаться от его реальных методов и способов работы с материалом в процессе образовательной программы [21]. В случае первой описанной нами образовательной программы больший акцент делался на самостоятельный выбор участниками стратегии обучения внутри программы, тогда как во втором случае деятельность слушателей была регламентирована установленными требованиями образовательной программы.

2. В целях оценки эффективности образовательной программы целесообразно использовать систему индикаторов, включающих 4 блока: показатели - пререквизиты, показатели обучающей активности, показатели целевого эффекта, показатели устойчивости эффекта. Анализ показателей пререквизитов позволит проводить более эффективный отбор на программу. Использование в оценке показателей обучающей активности слушателей позволит объяснить, почему одни участники приобрели новую компетентность, а другие - нет. Показатели целевого эффекта дают представление об изменении видения участников в части профессиональных целей и др., что является объективным сигналом встраивания полученной на программе информации в реальную действительность и рабочие процессы. Показатели устойчивости эффекта позволят прогнозировать отсроченный эффект и реализовывать постпрограммное сопровождение.

3. Данные примеры применения самооценки как инструмента оценки эффективности образовательных программ показывают перспективность примене ния данного метода для оценки результатов корпоративного обучения. При этом важно соотносить результаты

Том 13. № 4. С. 189-202.

самооценки с иными данными, например, результатами тестирования, экспертной оценки, или данными, собранными методом 360 градусов.

 

 

1. Герасимов М.В. Внутрифирменное обучение: теоретический аспект // Молодой ученый. 2016. № 5. С. 319-323.
2. Долженко Р.А. Опыт оценки эффективности обучения в корпоративном университете Сбербанка // Вестник Томского государственного университета. Серия: экономика. 2018. № 42. С. 161-179.
3. Илюшников К.К. Модель оценки эффективности корпоративного обучения на основе KPI и детализированных метрик // Вестник Омского университета. Серия: экономика. 2018. № 3. С. 131-142.
4. Карасева С.В. Повышение эффективности внутрикорпоративного обучения молодых специалистов в крупных российских компаниях // Вестник евразийской науки. 2013. № 1(14). С. 1-10.
5. Клименских М.В., Лебедева Ю.В., Полякова Д.В., Голендухина Е.А. Психологические аспекты успешного обучения в онлайн- и оффлайн-форматах // Цифровая гуманитаристика и технологии в образовании: сб. материалов Всероссийской научно-практической конференции с международным участием. 19-21 ноября 2020 г. / Под ред. М.Г. Сороковой, Е.Г. Дозорцевой, А.Ю. Шеманова. Москва: Издательство ФГБОУ ВО МГППУ. 2020. С. 401–407.
6. Лукьянова Н.И. Оценка эффективности корпоративного обучения // Вестник университета. 2014. № 8. С. 192-197.
7. Мартюшова Я.Г. Сценарный подход к разработке и использованию электронного учебника в вузе // Психологическая наука и образование. 2017. Том 22. № 6. С. 45–55. DOI: 10.17759/pse.2017220604
8. Долженко Р.А., Илюшников К.К. // Оценка эффективности корпоративного обучения: эволюция подходов и перспективы. Вестник НГУЭУ. 2018. № 3. С. 26-41.
9. Панферов В.Н., Безгодова С.А., Васильева С.В., Иванов А.С., Микляева А.В. Эффективность обучения и академическая мотивация студентов в условиях онлайн-взаимодействия с преподавателем (на примере видеолекции) // Социальная психология и общество. 2020. Том 11. № 1. С. 127–143. DOI:10.17759/sps.2020110108
10. Русских Е.А. Оценка эффективности корпоративного обучения специалистов // Управление развитием персонала. 2016. № 2. С. 130–142.
11. Сенашенко В.С., Марушина М.К. Алгоритм разработки корпоративной модульной программы обучения кадрового резерва // Профессиональное образование и рынок труда. 2019. № 3. С. 84-91.
12. Соловьева И.А. Совершенствование системы оценки эффективности обучения персонала в российских организациях // Инновационная наука. Уфа: ООО «Аэтерна». 2016. № 51. С. 173-176.
13. Спенсер Л.М., Спенсер С.М. Компетенции на работе. Модели максимальной эффективности работы: Пер. с англ. Москва: HIPPO. 1993, 384 C.
14. Ferguson E., Sanders A., O’Hehir F., James D. Predictive validity of personal statements and the role of the five-factor model of personality in relation to medical training. Journal of Occupational and Organizational Psychology, 2000. 73, pp. 321-344.
15. Foxon M. Evaluation of training and development programs: A review of the literature // Australasian Journal of Educational Technology. 1989. Vol. 5(2). pp. 89-104.
16. Harshit T. Evaluation of training and development: an analysis of various models // Journal of Business and Management. 2012. Vol. 5(2). pp. 16-22.
17. Kaufman R., Keller J., Watkins R. What works and what does not: Evaluation beyond Kirkpatrick // Performance and Instruction. 1995. 35(2). P. 8-12.
18. Kikas Eve, Jõgi Anna-Liisa. Assessment of learning strategies: self-report questionnaire or learning task // European Journal of Psychology of Education. 2015. Vol. 31. P. 1-17.
19. Lincoln J., Casidy R. Authentic assessment in business education: its effects on student satisfaction and promoting behaviour, Studies in Higher Education, 2018. Vol. 43. P. 401-415.
20. Lockheed E. Marlaine. The Measurement of Educational Efficiency and Effectiveness. 1989.
21. Perry N.E. & Winne P.H. Learning from learning kits: Study traces of students’ self-regulated engagements with computerized content // Educational Psychology Review. 2006. Vol. 18. pp. 211–228.
22. Phillips J.J. Handbook of Training Evaluation and Measurement Methods. 3nd ed. Gulf Professional Publishing. 1997. 420 p.
23. Solansky Stephanie. The evaluation of two key leadership development program components: Leadership skills assessment and leadership mentoring // The Leadership Quarterly. 2010. Vol. 21. pp. 675-681.
24. Steinhoff R. Lewis. Natural Born Leaders: Use of a Self-Assessment Tool and Benefits to Coaching and Development, 2015. Journal of Practical Consulting, Vol. 5. Iss. 2, Winter 2015. P. 19-28.

PlumX

Метрики публикации