Перейти к основному содержанию

Моделирование и анализ данных
2016. Том 6. № 1. С. 3–20
ISSN: 2219-3758 / 2311-9454 (online)

Оценка качества образовательных услуг: моделирование на базе теории нечетких множеств и нечеткой логики

2059

Митин А.И., Филичева Т.А.

PDF (RUS)
GS
Информация
в Google Scholar

Аннотация

В статье представлены задачи оценки текущего состояния качества образовательных услуг, описана нечетко-логические и нечетко-множественные модели, положенные в основу информационно-аналитической системы мониторинга качества образовательных услуг, которая обеспечивает решение экспертно-аналитических задач, формирование рекомендаций по повышению качества для администрации образовательного учреждения.

Общая информация

Ключевые слова: Нечеткое множество, информационно-аналитическая система, информационное обеспечение, система качества , образовательная система, иерархическая структура, продукционная модель

Рубрика издания: Моделирование

Для цитаты: Митин А.И., Филичева Т.А. Оценка качества образовательных услуг: моделирование на базе теории нечетких множеств и нечеткой логики // Моделирование и анализ данных. 2016. Том 6. № 1. С. 3–20.

Полный текст

А.И. Митин, Т.А. Филичева

В статье представлены задачи оценки текущего состояния качества об-разовательных услуг, описана нечетко-логические и нечетко-множественные модели, положенные в основу информационно­аналитической системы мониторинга качества образовательных услуг, которая обеспечивает решение экспертно-аналитических задач, формирование рекомендаций по повышению качества для администрации образовательного учреждения.

1.     ВВЕДЕНИЕ

Затруднения в развитии отечественной системы профессиональной подготовки кадров отчасти объясняются сложностью данной социальной системы, состояние которой определяется не только результатами учебной деятельности (внутренними показателями), но и результатами внешних воздействий со стороны изменяющегося рынка труда [1]. Отдельной проблемой профессиональной подготовки кадров, актуализирующейся в настоящее время, является отсутствие действенной системы мониторинга ее качества и эффективности.

Основной сложностью мониторинга качества образовательных услуг является слабая формализованность многих оценок качества образовательной деятельности и недостаточность стандартных мониторинговых процедур (которые оценивают типовой набор лицензионно-аккредитационных показателей) для комплексной оценки качества образовательных услуг.

В некоторых работах (А. А. Добряков, В.М. Милова, В.И. Майорова, М.М. Поташник) описываются подходы к формализации таких оценок (в основном, на базе нечетко­множественного подхода) для подготовки специалистов инженерного профиля [2, 3, 4]. Однако впрямую распространять эти подходы на оценку качества профессиональной подготовки специалистов других отраслей затруднительно в силу особенностей, связанных с необходимостью учета социальной активности выпускников, их карьерного роста, обучения на послеучебной фазе. Таким образом, формализация мониторинговых оценок и оптимизация мониторинговых процедур применительно к образовательной деятельности, а также их реализация в виде информационно-аналитических систем мониторинга качества образования требуют актив-ного развития и постоянного совершенствования.

Анализ работ по исследованию факторов, влияющих на качество образовательных систем [2, 3, 4], приводит к выводу о необходимости применения в данной области методов теории нечетких множеств и нечеткой логики с возможностью осуществления перехода от классических вероятностных моделей и экспертных оценок к нечетко-множественным описаниям.

Эта необходимость обусловливается тем, что внешние факторы, не управляемые со стороны образовательного учреждения, создают дополни-тельную неопределенность анализируемой информации, которая порождает ограничения возможностей однозначной идентификации текущих состояний и прогнозирования будущих требований к специалистам.

Далее под мониторингом качества образовательных услуг будем по-нимать дискретный во времени процесс (включенный в информационную систему образовательного учреждения) обоснованного диагностико-прогностического слежения за степенью удовлетворенности качеством образовательных услуг, за степенью достижения целей в области качества, а также за потенциальными причинами рисков снижения качества. Полученные в результате мониторинга данные представляются администрации образовательного учреждения для принятия стратегических и оперативных решений.

2.     МОДЕЛИРОВАНИЕ ОБРАЗОВАТЕЛЬНОЙ ДЕЯТЕЛЬНОСТИ

В целях формализации мониторинга качества образовательных услуг и выполнения информационного моделирования образовательная деятельность рассматривается в виде иерархической (древовидной) структуры (рис. 1).


Рис. 1. Иерархическая структура образовательного процесса

 

В соответствии с правилом организации образовательной деятельности во всех вершинах дерева протекают определенные процессы, подпроцессы и действия (планирование, разработка программ, реализация программ, формирование отчетности по результатам образовательной деятельности и т.д.), измерение показателей которых позволяет оценить степень достижения поставленных подцелей в области качества образовательных услуг [5, 6]. Качество всей профессиональной подготовки при этом соответствует степени достижения цели в корне иерархической (древовидной) структуры.

В некоторый момент t функционирования образовательных процессов, который задан дискретно с учетом частоты измерений, каждая вершина v дерева с непосредственными потомками одного уровня {v 1, v2, ... , vn} характеризуется своим состоянием, которое задаётся набором переменных {а, т, ф}, где а - показатель степени завершенности процесса; т - время, оставшееся до завершения процесса в вершине; ф - степень достижения цели процесса.

Показатель степени завершенности а количественно определяется как доля соответствия показателям, характеризующим качество образовательных услуг (прежде всего, ли­цензионно-аккредитационным). Показатель степени завершенности для какой-либо вершины текущего уровня вычисляется как сумма показателей элементов для предыдущего (ниже расположенного) уровня.

Для оценки степени достижения цели в подчиненной вершине vi вводится лингвисти­ческая переменная «Степень достижения цели процесса» с терм-множеством {«цель достиг­нута», «высокая степень достижения цели», «средняя степень достижения цели», «низкая степень достижения цели», «цель может быть не достигнута»}. Степень достижения цели в области качества образовательных услуг в корне иерархической (древовидной) структуры определяется на основании значений показателей подцелей, целей процессов, подпроцессов и действий у подчиненных вершин и рассчитывается в соответствии с принципом обобщения, введенным Л. Заде.

Показатели эффективности работы образовательных учреждений высшего образова­ния сформированы с учетом аккредитационных показателей и составляют перечень количественных характеристик качества образовательных услуг, в котором учитываются уровень научных и научно-педагогических кадров, результаты учебной и научной деятельности, фи­нансовые показатели [5, 6].

Следует учесть, что не каждой вершине дерева образовательных услуг может быть сопоставлен количественный показатель. В частности, удовлетворенность качеством образо­вательных услуг выпускников и работодателей может быть измерена только нечётко в виде понятий естественного языка (через анкетные опросы выпускников по удовлетворенности качеством образовательных услуг, анкетные опросы работодателей по удовлетворенности качеством подготовки выпускников, анкетные опросы сотрудников и ППС по удовлетворен­ности качеством образовательных услуг) в рамках стандартных мониторинговых процедур.

3.     ПРОДУКЦИОННАЯ МОДЕЛЬ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ УСЛУГ И СТЕПЕНИ ДОСТИЖЕНИЯ ЦЕЛИ

Для решения задачи оценки качества образовательных услуг и степени достижения цели в области качества используется нечеткая продукционная модель с набором правил, для фор­мирования которых используются входные переменные t, т, а и выходная переменная ф.

Входная переменная т представляет время, оставшееся до завершения процесса, с терм-множеством Т1 = {«опережение», «по плану», «отставание»}. Входная переменная t представляет этап выполнения процесса с терм-множеством Т2 = {«начало», «в процессе», «завершение»}. Входная переменная а представляет долю соответствия показателям, харак­теризующим качество образовательных услуг с терм-множеством Т3 = {«полностью», «более половины», «соответствует», «менее половины», «не соответствует»}. Выходной перемен­ной ф является лингвистическая переменная «Степень достижения цели процесса» с терм- множеством Т4 = {«цель достигнута», «высокая степень достижения цели», «средняя степень достижения цели», «низкая степень достижения цели», «цель может быть не достигнута»}. Графики функций принадлежности для переменных t и ф представлены на рис. 2 и 3. В зависимости от степени завершения действия, подпроцесса, процесса в соответствии с представлением образовательной деятельности в виде иерархической структуры (раздел 1) на основании функции принадлежности термов выходной переменной ф выдвигается предположение о завершении процесса и степени достижения цели в области качества.


Рис. 2. Функции принадлежности термов входной переменной t

 

 


Рис. 3. Функции принадлежности термов выходной переменной ф

 

Построенная модель в виде совокупности нечетких продукционных правил позволяет по заданным значениям входных переменных t, т и а определить выходное значение переменной ф и сделать вывод о степени завершения процесса в плане достижения его цели.

Для осуществления нечёткого логического вывода (определения взаимосвязей между входными и выходной переменными) используется совокупность продукционных правил, которая сформирована перебором всех допустимых условий / следствий. Всего сформировано 30 нечетких продукционных правил (типа ЕСЛИ <оценка производится на начальном этапе выполнения процесса> И <процесс выполняется по плану> И <значения основных показателей более половины> ТО <высокая степень достижения цели процесса>). При реализации применяется алгоритм нечёткого логического вывода Мамдани [7], поскольку значения как входных, так и выходной переменных заданы нечеткими множествами. База знаний (в виде совокупности нечетких продукционных правил) формируется экспертами предметной области, в качестве которых при апробации данной модели выступили уполномоченные по качеству и руководители учебно-методических отделов вузов.

4.     МОДЕЛЬ ОЦЕНКИ УДОВЛЕТВОРЕННОСТИ КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ УСЛУГ

В современном подходе к содержанию качества образования одним из основных критериев выступает степень удовлетворенности различных участников образовательного процесса
предоставляемыми образовательным учреждением образовательными услугами и степень достижения поставленных в образовании стратегических целей, направленных на решение проблем с кадрами в соответствующей отрасли. Развитие информационно-аналитического обеспечения мониторинга качества образования призвано обеспечить гибкость и эффективность управления образовательным учреждением, оперативность реагирования на вызовы современного рынка - как со стороны работодателей, так и со стороны потребителей образовательных услуг (общества, государства).

При разработке данной модели определены субъекты удовлетворенности качеством образовательных услуг (рис. 4), классифицированные по двум укрупненным группам (потребители, сотрудники) с последующей детализацией. При детализации осуществляется дальнейшая классификация по виду потребностей (внутренние и внешние) и ожиданий (для потребителей), по типу или характеру выполняемой работы (для сотрудников).

Группа потребителей подразделяется в зависимости от интересов и методов, применяемых при измерении удовлетворенности, на внутренних потребителей (студенты, слушатели, аспиранты и т.д.) и внешних потребителей (родители, абитуриенты, работодатели, учебные заведения, выступающие в роли партнеров совместной деятельности и потенциальных поставщиков абитуриентов).

В целях получения наиболее полной информации по удовлетворенности качеством образовательных услуг при индивидуальном методе применяется заочный способ опроса экспертов (субъектов удовлетворенности качеством). Суть метода экспертных оценок заключается в усреднении различными способами мнений респондентов (экспертов по рассматриваемым вопросам). Построение иерархической структурной схемы комплексных критериев удовлетворенности качеством образовательных услуг также выполнено с привлечением экспертов. Для определения и проведения экспертной оценки использованы существующие методы в соответствии с ГОСТ 23554.1-79 [8].


Рис. 4. Классификация субъектов удовлетворенности качеством образовательных услуг


 


Из множества показателей, определяющих качество предоставляемых образовательных услуг, выделяется набор базовых критериев, которые являются наиболее существенными, и определяется их приоритетность. Приоритетность показателя определяется весовым коэффициентом.

Процесс анализа сводится к анализу соотношения требуемого, по мнению потребителя, уровня знаний или обладания тем или иным качеством и его самооценки по этой же характеристике. Таким образом, показатель удовлетворенности потребителя образовательной услугой можно формально представить в виде

Существует несколько способов выражения обобщенного показателя эффективности:

1.    Расчет интегрального показателя удовлетворенности потребителя образовательной услугой:

2.    Свертывание (объединение) векторного критерия в некую скалярную функцию полезности. В этом случае функцию полезности можно представить в виде взвешенной суммы разностей показателей, отражающих фактическое состояние:

Выполненные подобным образом вычисления позволяют составить матрицы отклонений текущих и потенциальных требований потребителей (табл. i), которые, в свою очередь, являются основой для анализа показателей качества и предпринимаемых корректирующих и предупреждающих действий, обеспечивающих реализацию принципа постоянного совершенствования. Данный подход соответствует общей схеме решения поисковой задачи в «размытой» постановке и позволяет выбрать эффективное решение Х. из множества альтернативных вариантов решений и свести к минимуму функционал отклонений Li. Суммарные отклонения определяются с помощью обобщенного показателя эффективности [3].

 

 

В результате выбирается альтернатива с наименьшим уровнем относительной неопределенности.

Отличительной особенностью мониторинга удовлетворенности предоставляемыми образовательными услугами является то, что информацию приходится извлекать из мнений экспертов или потребителей (студентов, выпускников, работодателей) как неформализован­ную характеристику.

Оценка удовлетворенности качеством образовательных услуг базируется на анализе информации, касающейся всех заинтересованных сторон образовательного процесса (внешних потребителей, внутренних потребителей, сотрудников), и выполняется с помощью глобального критерия K, вычисляемого по формуле:

 


Для оценки удовлетворенности по критериям, с учетом иерархии субъектов удовлетворенности качеством образовательных услуг (каждой отдельной категории потребителей и сотрудников), используется вербальная шкала, включающая в себя следующие значения: 6 - абсолютно удовлетворен; 5 - удовлетворен; 4 - скорее удовлетворен; 3 - частично удовлетворен и частично не удовлетворен; 2 - скорее не удовлетворен; 1 - не удовлетворен; 0 - абсолютно не удовлетворен. Данные значения являются лингвистическими значениями лингвистической переменной «Удовлетворенность», то есть образуют ее терм-множество А(Х), представляющее множество названий лингвистических значений лингвистической переменной Х, каждое из которых представляет собой нечеткую переменную со значениями из универсального множества U с базовой переменной u.

Для каждого нечеткого подмножества, характеризующего определенное лингвистическое значение лингвистической переменной, задана функция принадлежности. Функция принадлежности ^A(и) каждому значению базовой переменной и ставит в соответствие число из интервала [0, 1], символизирующее совместимость этого значения с нечетким ограничением.

Как правило, в теории нечетких множеств применяется несколько видов функций принадлежности, которые в основном представляют собой частные случаи функций типа (L- R) [3, 9, 10]. Функции принадлежности нечетких множеств (L-R)-типа задаются с помощью невозрастающих на множестве неотрицательных действительных чисел функций действительной переменной L(u) и R(u), удовлетворяющих свойствам:

1)    L(-u)=L(u), R(-u)=R(u);

2)     L(0)=R(0).

 

В случае нечетких множеств (L -R )-типа общий вид функции принадлежности рА (и) следующий:

Здесь [a 1, a2] - интервал толерантности, где значение функции принадлежности равно 1, а точки aL и aR - соответственно левые и правые коэффициенты нечеткости; функция иА (и) изменяется от нуля до единицы.

Значение лингвистической переменной, которое определяет степень удовлетворенности, представляет собой ограничение на значения базовой переменной и в универсальном множестве U (U = [0,6]). При этом базовая переменная и лингвистической переменной «Удовлетворенность» рассматривается как некоторая числовая переменная удовлетворенность, которая принимает значения 0, 1, 2, ..., 6, а множество Uпредставляет собой базовую шкалу оценок, по которой производится измерение степени удовлетворенности.

Функции принадлежности термов лингвистической переменной «Удовлетворенность» в обобщенном виде можно представить следующим образом:

где a g [0, 1] - параметр, определяющий носители нечетких множеств «удовлетворен» и «не удовлетворен». Для нечеткого множества «удовлетворен» носителем будет интервал (a,1], а для нечеткого множества «не удовлетворен»: [0,a).

Вид функций принадлежности и для каждого нечёткого подмножества, характеризующего определенное значение лингвистической переменной, и значения параметров этой функции определяются экспертным методом.

В частности, функция принадлежности для нечеткого множества А(удовлетворен) описывается формулой вида:

Установив экспертным путем значения а = 4,13, у= 5,87, можно найти Р = 5.

Для установления вида функции принадлежности нечеткого множества А(абсолютно удовлетворен) было принято предположение, что модификатор «абсолютно» действует как оператор повышения «четкости» нечеткого подмножества А(удовлетворен) в виде двойного концентрирования, то есть:

 

Функция принадлежности для нечеткого множества А(не удовлетворен) описывается по формуле:

 

Экспертным путем определяются значения  а= 1, у= 5 и В= 3. 


Функция принадлежности для нечеткого множества А(не удовлетворен) описывается формулой вида:

 

Установив экспертным путем значения а = 2,2, У = 1, можно получить В = 1,6.

Для установления вида функции принадлежности нечеткого множества А(абсолютно не удовлетворен) было принято предположение, аналогичное предположению для нечеткого множества А(абсолютно удовлетворен), то есть:

Функция принадлежности для нечеткого множества А(скорее не удовлетворен) описывается формулой вида:

 

 

Экспертным путем установлены значения а = 4,5, у = 0,9 и В = 2,7.

Функция принадлежности для нечеткого множества А(частично удовлетворен и частично не удовлетворен) описывается формулой вида:

Вся совокупность графиков функций принадлежности представлена на рис. 5. Следует отметить, что графики функций принадлежности термов «абсолютно удовлетворен» и «абсолютно не удовлетворен» представляют собой зеркальные отображения.


Рис. 5. Функции принадлежности лингвистической переменной “Удовлетворенность” (6 — абсолютно удовлетворен; 5 — удовлетворен; 4 — скорее удовлетворен; 3 — частично удовлетворен и частично не удовлетворен; 2 — скорее не удовлетворен; 1 — не удовлетворен; 0 — абсолютно не удовлетворен)

 

Введение комплексных критериев для субъектов удовлетворенности качеством образовательных услуг и глобального критерия удовлетворенности для всех групп субъектов позволяет провести анализ удовлетворенности качеством образовательных услуг, определить степень соответствия требованиям и ожиданиям субъектов с учетом различных категорий и групп, установить приоритетные направления для улучшения деятельности образовательного учреждения. После определения приоритетных направлений проводится планирование улучшений, которые необходимы для увеличения удовлетворенности качеством образовательных услуг.

5.      ОЦЕНКА РИСКОВ СНИЖЕНИЯ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ УСЛУГ

Современная теория сложных систем базируется на вероятностном описании процессов, в которые вовлечены объекты. Образовательная система как сложная система с программно­целевым управлением характеризуется воздействием на ее объекты как различных случайных факторов со стороны внешней среды, так и возникающих внутри случайных возмущений [10, 11]. Внешняя среда, в которой функционирует система, своим воздействием может вносить неопределенность, изменяя характер взаимодействия между объектами (или между составными частями рассматриваемого объекта), что влечет непредсказуемые изменения внутри объектов системы, которые могут отрицательно сказываться на развитии, создавая риски.

Учет рисков при анализе функционирования и развития системы в обобщенном варианте включает выполнение следующих процедур:

-     идентификацию рисков - определение рисков, способных повлиять на достижение поставленных перед системой целей;

-     оценку рисков - анализ качественных и количественных характеристик, условий и вероятности возникновения рисков с целью определения их влияния на достижение поставленных целей;

-     реагирование на риски - определение процедур и методов по ослаблению отрицательных последствий рисковых событий;

-                       управление рисками - выбор подходов и методов по снижению рисков.

В образовательной деятельности значительному количеству рисков подвержены все ее участники [12], но роль руководства вуза является центральной в этой деятельности, и качество образовательных услуг напрямую зависит от правильности принятых им решений на всех этапах образовательного процесса.

При принятии решений по управлению качеством образовательных услуг (как и образовательной деятельностью вуза в целом) возможно применение двух подходов. Первый подход предполагает (при множестве критериев, определяющих ситуацию) построение числовой функции, отражающей предпочтения руководства для конкретной задачи принятия решения. Второй подход основан на выявлении предпочтений одновременно с исследованием допустимого множества действий для отыскания эффективного решения. Совместное использование перечисленных подходов с методами нечёткой логики позволяет более эффективно проводить мониторинг качества образовательных услуг, характеризующийся как анализ слабо формализованных процессов, для которых свойственно отсутствие точной количественной информации. Качественный анализ сложной ситуации предусматривает определение тенденций протекающих процессов, их качественную оценку и выбор мер, способствующих развитию в соответствии с поставленными целями.

Метод анализа рисков, основанный на когнитивном подходе к моделированию и управлению, позволяет получить количественную оценку негативных последствий, влияющих на качество образовательных услуг. Для построения когнитивной модели анализа рисков снижения качества образовательных услуг применяется когнитивная карта [7, 13], отражающая субъективные представления эксперта об исследуемой проблеме (ситуации), связанной с функционированием и развитием слабо формализованных процессов. Когнитивная карта представляет собой взвешенный орграф, вершины которого соответствуют концептам (существенным факторам), а дуги - связям между концептами.

В целях исследования причин несоответствия качества образовательных услуг установленным лицензионным (аккредитационным) требованиям, а также требованиям работодателей, следует сформировать множество сравниваемых концептов.

На основе данных стандартных мониторинговых процедур и личного опыта эксперты- аналитики формируют список концептов когнитивной карты для исследования возможных причин несоответствия целям в области качества образовательных услуг (рис. 6): e 1 - количество абитуриентов; e2 - платежеспособность общества; e3 - качество учебных программ; e4 - довузовская подготовка; e 5 - реклама и имидж вуза; e 6 - базовый уровень знаний абитуриента; e 7 - отчисления и переводы в другие вузы; e 8 - уровень финансирования; e 9 - количество НИР; e 10 - трудоустройство выпускников; e 11 - результаты ГЭК и защит выпускных квалификационных работ; e 12 - карьера выпускников; e 13 - обеспеченность соответствующей отрасли кадрами; e 14 - качество профессиональной деятельности выпускников. Деление кон­цептов на три группы проведено следующим образом: (e 1 - e 7) рассматриваются как факторы возникновения рисков, (e 8 - e 11) - базисные факторы, (e 12 - e 14) - целевые факторы.

В целях повышения наглядности на рисунке концепты обозначены в виде цифр, которые соответствуют приведенной нумерации в наименовании. Положительное влияние кон­цептов представлено дугой в виде сплошной стрелки, отрицательное - дугой в виде пунктирной стрелки. Чем толще стрелка на рис. 6, тем сильнее влияние. Вес влияния указан числом со знаком вблизи стрелки.

Полученная от экспертов информация должна быть обработана на предмет устранения двусмысленностей и повторений, а также согласования используемой терминологии.

В связи с этим следует привести описание каждого из выделенных экспертами кон­цептов.

1.      Количество абитуриентов. Общая численность абитуриентов, поступивших в образовательное учреждение в текущем году.

2.      Платежеспособность общества. Способность населения и организаций оплачивать образовательные услуги, а также заинтересованность организаций в выполнении НИР по соответствующим направлениям развития науки.

3.      Качество учебных программ. Общее число недоработок учебных программ, выявленное за отчетный период.

4.      Довузовская подготовка. Качество дополнительных образовательных услуг, оказываемых абитуриентам в виде подготовительных курсов, определяемое как соотношение общего числа абитуриентов, обучавшихся на подготовительных курсах к числу абитуриентов, поступивших в вуз после их успешного окончания.

5.      Реклама и имидж вуза. Статус вуза в регионе и за его пределами, интенсивность рекламной деятельности, направленной на привлечение абитуриентов. Данный показатель является качественным и определяется на основании анкетирования абитуриентов, выпускников, населения, работодателей.


Рис. 6. Визуальное представление когнитивной карты оценки рисков снижения качества образовательных услуг

6.      Базовый уровень знаний абитуриента. Уровень знаний, полученный на стадиях начального, среднего и высшего образования; определяется на основе оценок ЕГЭ или внутреннего экзамена вуза в соответствии с правилами приема.

7.      Отчисления и переводы в другие вузы. Число студентов, отчисленных и переведенных в другие вузы за отчетный период.

8.      Уровень финансирования. Объем средств из бюджетных и внебюджетных источников, направленный на обеспечение образовательного процесса.

9.      Количество НИР. Общее число выполненных НИР на конец отчетного периода по источникам финансирования.

10.   Трудоустройство выпускников. Процент выпускников вуза, трудоустроенных по его окончании, который определяется как количество выпускников, устроившихся на работу после окончания вуза, отнесенное к общему количеству выпускников вуза.

11.   Результаты ГЭК и защит выпускных квалификационных работ. Качество подготовки специалистов, определенное средним баллом по вузу, на основании знаний, показанных при сдаче государственного междисциплинарного экзамена и защиты квалификационной работы.

12.   Карьера выпускников. Общее число выпускников вуза, получивших продвижение по службе, повышение заработной платы в течение 1-3 лет после окончания образовательного учреждения.

13.   Обеспеченность соответствующей отрасли кадрами. Общее число вакантных мест, выставляемых на конкурс замещения должностей в рассматриваемый период.

14.   Качество профессиональной деятельности выпускников. Уровень качества профессиональной деятельности, оцениваемый по удовлетворенности общества данной деятельностью; определяется посредством проведения социологических опросов в регионе, а также как отношение количества рекламаций от работодателей за предыдущий и последующий отчетные периоды.

При построении когнитивной карты экспертами оценивалась интенсивность влияния установленных связей между концептами, которая ранжировалась по семибалльной шкале («очень низкое», «низкое», «ниже среднего», «среднее», «выше среднего», «высокое», «очень высокое»).

Общее состояние качества образовательных услуг, с учетом дискретности измерения, определяется набором значений всех концептов. Целевое состояние задается вектором значений множества целевых концептов, которые определяются на основе мнений экспертов. Задание весов связей, которое учитывает мнения нескольких экспертов при условии согласованности ответов, позволяет снизить субъективность экспертной оценки. Вес связи при оценке несколькими экспертами определялся как среднее арифметическое оценки силы i-ой связи j-ым экспертом. Для проверки согласованности оценок экспертов использован метод ранговой корреляции. Коэффициент конкордации рассчитывается по формуле Кендалла. На этапе апробации данного метода был получен коэффициент согласованности В c = 0,7, что позволяет считать мнение экспертов в достаточной степени согласованным.

После формирования и анализа когнитивной модели оценки рисков снижения качества осуществляется моделирование динамики поведения выделенных экспертами концептов в момент внесения значения возмущения, зависящим от периода мониторинга значений выделенных концептов [5]. Так, если мониторинг осуществляется один раз в квартал при периоде исследования один год, то значение шага возмущения принимается равным 4. Далее по каждому из выделенных экспертами концептов вносятся начальные значения возмущений, зависящие от показателей, выбранных в качестве целевых на планируемый промежуток времени (один год), и их значений.

Следует отметить, что на каждый планируемый период могут быть выбраны разные целевые показатели в зависимости от стратегических целей образовательного учреждения, а также целевых значений измеряемых показателей. Числовое значение возмущения устанавливается в зависимости от планируемого целевого уровня и применяемой шкалы оценок влияния связей между концептами. В данном случае числовое значение возмущения взято в интервале от -1 до 1. Глубина расчета для данной когнитивной модели зависит от рассматриваемого периода оценки; например, если период исследования составляет один год, то глубина расчета равна 12. Глубина расчета связана с понятием модельного времени, под которым понимается время, являющееся имитацией, прообразом времени реальной системы. Для моделирующей системы модельное время - это переменная, значение которой в системе дискретно изменяется. Его протекание определяет моменты наступления определенных событий, продолжительность выполнения определенных действий. В предложенной модели понятие «глубина расчета» характеризует протекание процесса в когнитивной карте и незначительно соотносится с реальным временем моделируемой системы. Кроме того в модели не учитываются временные задержки при передаче воздействия между концептами, и предполагается, что каждое воздействие происходит за единичное время.

При моделировании оценки рисков снижения качества образовательных услуг был выбран шаг возмущения 4 (ежеквартальный мониторинг), и возмущения по каждому из кон­цептов определены с учетом силы влияния на достижение поставленных целей.

Графическое отображение результатов моделирования представлено на рис. 7; имеется возможность вывести графическое отображение динамики поведения каждого концепта когнитивной модели в отдельности.


Рис. 7. Графики результатов моделирования оценки рисков снижения качества образовательных услуг

 

Расчет результатов моделирования позволяет получить табличное представление результатов (когнитивную матрицу) со всеми выделенными концептами и их поведением в исследуемый период. Устойчивое снижение значения весового коэффициента по концепту в исследуемый период рассматривается как риск снижения качества образовательных услуг и является основанием формирования рекомендаций администрации для принятия управленческих решений.

После получения моделей и их анализа для определения путей снижения рисков и улучшения качества образовательных услуг выделяются наиболее проблемные концепты, имеющие неудовлетворительные качественные оценки или значения, не соответствующие целевым. На основании анализа моделей при учете продукционных правил, которые формируются экспертами (например, ЕСЛИ <количество абитуриентов меньше установленных контрольных цифр> ТО <активизировать проведение рекламных мероприятий> ИЛИ <повысить информированность общества> ИЛИ <повысить имидж вуза> ИЛИ <снизить стоимость обучения>; ЕСЛИ <снизился имидж вуза> ТО <повысить рекламную деятельность> ИЛИ <увеличить количество социально-значимых проектов> ИЛИ <повысить качество реализуемых программ> ИЛИ <увеличить число выполненных НИР>), определяются способы улучшения, совершенствования и оптимизации рассматриваемого процесса. Продукционные правила вносятся специалистами службы качества или аналитиками в совокупность продукционных правил, которая позволяет получать рекомендации для администрации при принятии управленческих решений.

6.     ЗАКЛЮЧЕНИЕ

Применение нечетко-множественного и нечетко-логического подхода к анализу образовательных систем и оценке качества образовательных услуг (конкретно, представление качественных показателей через лингвистические переменные с учетом особенностей образовательной системы и использование механизмов нечеткого логического вывода) позволяет:

1.      Перейти от классических вероятностных моделей и экспертных оценок к нечетко­множественным описаниям, снизив долю субъективизма, и более полно учесть специфику образовательной системы.

2.      Проанализировать образовательную деятельность с учетом требований потребителей (и вообще всех заинтересованных сторон) и предложить альтернативные варианты принятия управленческих решений на основе фактически достигнутых результатов и мнений экспертов.

3.      При принятии управленческих решений снизить долю неопределенности, обусловленной недостаточным количеством информации и субъективизмом экспертов.

 

Работа поступила 02.11.2016г.

Литература

  1. Данчул А.Н., Корнеенко В.П. Системный анализ управления экономическими процессами: учеб.-метод. пособие.  М.: Изд-во РАГС, 2001.  140 с.
  2. Добряков, А.В. Экспертно-аналитический метод оценки качества образовательных систем на основе нечетко-множественного подхода / А.В.Добряков, В.М.Милова // Качество. Инновации. Образование. 2007. №1. С. 36 -41.
  3. Майорова, В.И. Системный анализ проблем и моделирование процесса подготовки элитных специалистов инженерного профиля (на примере ракетно-космических специальностей). В двух частях. Часть 2.  М.: Издательство МГОУ, 2007.  222 с.
  4. Поташник М.М. Качество образования: проблемы и технологии управления (В вопросах и ответах). М.: Педагогическое общество России, 2002. 352 с.
  5. Митин, А.И. Мониторинг качества профессиональной подготовки: информационно-аналитический подход / А.И. Митин, Т.А. Филичева // Информатизация образования и науки. - 2014. - №1 -  С. 82–100.
  6. Митин, А.И. Продукционная модель оценки качества профессиональной подготовки и степени достижения целей в области качества / А.И. Митин, Т.А. Филичева // Открытое образование, 2013, №6. С. 31-35.
  7. Федулов Ю.Г., Юсов А.Б., Матвеев А.А. Исследование социально-экономических и политических процессов с помощью когнитивных моделей: учебно-методическое пособие. М.: РАГС, 2004. 60 с.
  8. ГОСТ 23554.1–79 Система управления качеством продукции. Экспертные методы оценки качества промышленной продукции. Организация и проведение экспертной оценки качества продукции. М.: Издательство стандартов, 1980. 70 с.
  9. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику. [Электронный ресурс] – URL: http://matlab.exponenta.ru/fuzzylogic/book1/index.php (дата обращения 05.08.2016).
  10. Рыжов А.П. Элементы теории нечетких множеств и ее приложений.  [Электронный ресурс] – URL: http://intsys.msu.ru/staff/ryzhov/FuzzySetsTheoryApplications.htm (дата обращения 05.08.2016).
  11. Казаков И.Е., Мальчиков С.В. Анализ стохастических  систем в пространстве состояний. М.: Наука, 1983. 384 с.
  12. Костюкова Т.П., Лысенко И.А. Система управления рисками в образовательной деятельности – непременная часть менеджмента качества // Информационные технологии в образовании/ III Международная научно-практическая конференция «Информационная среда вуза XXI века» 21-25 сентября 2009 г., г. Петрозаводск. [Электронный ресурс] – URL: http://ito.edu.ru/2009/Petrozavodsk/I/I-0-17.html (дата обращения 22.08.2016).
  13. Силов, В.Б. Принятие стратегических решений в нечёткой обстановке / Силов В.Б. - М.: ИНПРО-РЕС, 1995. 228 с.

Информация об авторах

Митин Александр Иванович, доктор педагогических наук, профессор, профессор кафедры прикладной информатики и мультимедийных технологий, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Россия, ORCID: https://orcid.org/0000-0001-9202-2087, e-mail: mitin_ai@mail.ru

Филичева Татьяна Алексеевна, кандидат технических наук, доцент, доцент кафедры социально-гуманитарных и естественно-научных дисциплин, Российская академия народного хозяйства и государственной службы Брянский филиал (ФГБОУ ВО РАНХиГС Брянский филиал), Брянск, Россия, ORCID: https://orcid.org/0000-0002-7062-1713, e-mail: filta@yandex.ru

Метрики

Просмотров

Всего: 1011
В прошлом месяце: 7
В текущем месяце: 11

Скачиваний

Всего: 2059
В прошлом месяце: 4
В текущем месяце: 2