Портал психологических изданий PsyJournals.ru
Каталог изданий 104Рубрики 51Авторы 8822Новости 1760Ключевые слова 5095 Правила публикацииВебинарыRSS RSS

Включен в Web of Science СС (ESCI)

ВАК

РИНЦ

Рейтинг Science Index РИНЦ 2018

27 место — направление «Психология»

0,516 — показатель журнала в рейтинге SCIENCE INDEX

0,551 — двухлетний импакт-фактор

CrossRef

Психология и право

Издатель: Московский государственный психолого-педагогический университет

ISSN (online): 2222-5196

DOI: https://doi.org/10.17759/psylaw

Лицензия: CC BY-NC 4.0

Издается с 2010 года

Периодичность: 4 номера в год

Формат: сетевое издание

Доступ к электронным архивам: открытый

«Психология и право»

мобильное приложение
для iPad и iPhone

Доступно в App Store
Скачайте бесплатно

 

Экспериментальное обоснование модельного подхода в профессиональном психологическом отборе сотрудников правоохранительных органов 472

Кубышко В.Л.
кандидат педагогических наук, Начальник Департамента государственной службы и кадров , Министерство Внутренних Дел РФ, Москва, Россия
e-mail: 84956673764@mail.ru

Крук В.М.
доктор психологических наук, Ведущий консультант отдела организации психологической работы управления организации морально-психологического обеспечения Департамента государственной службы и кадров , Министерство Внутренних Дел РФ, Москва, Россия
e-mail: kvm@fsvgroup.ru

Носс И.Н.
доктор психологических наук, Ведущий научный сотрудник лаборатории психогигиены и психопрофилактики, Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр психиатрии и наркологии имени В.П. Сербского» Министерства здравоохранения Российской Федерации , Москва, Россия
e-mail: Innoss2007@yandex.ru

Бородина Т.И.
аспирантка кафедры психологии труда и организационной психологии , Московский государственный областной университет, Москва, Россия
e-mail: takvilona@yandex.ru

Полный текст

Актуальность

Совершенствование деятельности правоохранительных органов должно начинаться с создания надежной «кадровой базы» [10]. Опыт выполнения возложенных на российскую полицию, 300-летие которой отмечается 5 июня 2018 г., ответственных задач указывает на необходимость повседневного внимания к этому вопросу полномочных должностных лиц всех уровней.

Регулярные опросы руководителей органов внутренних дел (ОВД) свидетельствуют, что до 65% проблем в деятельности правоохранительной системы России непосредственно связывается ими с недостаточной подготовленностью специалистов и сформированностью соответствующих личностно-профессиональных качеств у сотрудников. В связи с этим совершенствование профессионального психологического отбора кандидатов в органы внутренних дел (ППО) рассматривается как важнейший компонент обеспечения надежности сотрудников и повышения качества кадровой работы в системе МВД России [7, 4].

Анализ методологии и передовой практики ППО показывает, что неотъемлемым условием эффективности его систем является применение обоснованных модельных технологий (А. Анастази, 2001; Х. Осберн, 1991). На необходимость и целесообразность их разработки еще в 1970–1980-е и последующие годы неоднократно указывали отечественные специалисты в этой области (Б.В. Кулагин, 1984; В.А. Бодров,2001 и др.).

В рамках психологической эпистемологии моделирование является методом научного познания мира путем представления объекта в виде некой конструкции для получения существенной информации о нем посредством экспериментов (К. Клаус, 1963; Б.Я. Советов, С.А. Яковлев, 2001).

Обоснование и постановка задачи

С начала 2010-х гг. в МВД России проводится широкомасштабный комплекс мероприятий, направленный на всестороннее совершенствование его деятельности. В их числе – поэтапное качественное изменение системы ППО кандидатов на службу. Его суть заключается в определении у них способности в соответствии со своими личным и деловым качествам выполнять служебные обязанности, а также в выявлении факторов риска девиантного (общественно опасного) поведения [15, p. 16705].

С 2015 г. к будущим сотрудникам предъявляются экспериментально обоснованные требования универсального характера по уровню общего интеллектуального развития, способностям к логическим суждениям и умозаключениям, эмоциональной устойчивости, уравновешенности, умению контролировать поведение и проявление эмоций, выдержке, смелости, решительности, настойчивости, работоспособности, уровню правосознания и нравственных убеждений, честности, принципиальности, соблюдению норм общественной морали.

Трехлетний опыт работы в этом направлении свидетельствует о его принципиальной оправданности на первом этапе становления ППО. Однако высокие трудозатраты на его проведение и недостаточная эффективность применяемого психодиагностического инструментария настоятельно требуют качественного совершенствования всей системы на основе модельного подхода [13, с. 98–99]. Он основан на том, что любое психическое явление, в том числе и личностно-профессиональная пригодность, в качестве объекта профотбора может быть представлено в виде модели.

Психическое есть идеальное, образ реальности – виртуально-модельный конструкт (Л.С. Выготский, 1999; А.Н. Леонтьев, 1979; А.В. Нарышкин, 2005; У. Перси, 2003; С.Д. Смирнов, 1981; П. Тейяр де Шарден, 1987 и др.). Степень его адекватности определяет точность прогноза реального поведения индивида. Поэтому оптимизированная модельная диагностика является основной целью прикладной психологии [12].

Результатом отражения реальности человеком является ее сформированный образ-модель. Это некая «ментальная прослойка» между человеком и реальностью. Она существует как виртуально-модельная реальность, в которой «обитает» личность. Внутреннее и внешнее, материальное и идеальное, предметы и их образы-модели – это те аспекты познания, которые требуют постоянного сопоставления и анализа. Эти соотношения требуют преодоления проблем взаимоотношений и понимания первичности, доминирования того или иного полюса в теоретическом и прикладном, каузальном и телеологическом, экспериментальном и умозрительном аспектах психологии.

Психическая модель существует в человеке и вне его – в презентуемой ему материальной реальности в виде измененной, очеловеченной реальности. Соотношение реального и образно-модельно-психического было и остается фундаментальной проблемой психологии (Д. Винникот; Г. Гегель; А.Ф. Лосев; Г. Сколимовский и др.). Моделирование – это не только «исследование физических процессов на моделях», это научный метод исследования различных систем путем построения моделей этих систем, сохраняющих некоторые основные особенности предмета исследования, и изучение функционирования моделей с переносом получаемых данных на предмет исследования [4, с. 17–18]. Д.Н. Хорафас (1967) лаконично выразил эту же мысль, отметив, что моделирование есть динамическая аналогия.

В этом контексте задача заключается в разработке на основе модельного подхода более оптимальной системы ППО, методологической основой которого является валидный комплекс психодиагностических средств, способный обеспечить достоверный прогноз личностно-профессиональной пригодности сотрудников, способных на достаточном уровне эффективности качественно выполнять поставленные задачи.

Специфика решения задачи

В литературе [4] определяется, по крайней мере, два основных типа моделей: вещественно-физический, к которому относятся модели, имеющие физическую, химическую или биологическую природу, сходную с природой изучаемого явления и логико-математический (или формально-математический), представляющий конструкции, имеющие отличную от прототипов физическую, химическую или биологическую природу, но допускающие сходство с оригиналом посредством его математического, программного или логического описания.

Моделирование предмета психологического исследования в рамках профессиологии и, в частности, в ППО, предполагает последовательную разработку, по крайней мере, пяти видов моделей: теоретической, предметно-содержательной, инструментально-методической, формально-математической и интерпретационной.

Теоретическая модель представляется известными концепциями профессиональной пригодности [2] и личностно-профессиональной спецификации [3]. Они, по существу, основаны на некой бинарной системе, состоящей, с одной стороны, из подсистемы профессиональных требований к личности работника и, с другой стороны, из подсистемы личностных качеств персонала.

Связующим элементом этих двух глобальных переменных является соответствие личностно-профессиональных требований наличным качествам работника. В ППО объектом исследования является именно связь-соответствие требований качествам. Выявление и измерение этого соответствия и есть предмет ППО, представляющий модель личностно-профессиональной диагностики [9].

Сложность моделирования психологического объекта заключается в трудности учета всех внешних и внутренних переменных, влияющих на процесс оценки и развития личностно-профессиональной пригодности (ЛПП) сотрудников. Поэтому и система анализа деятельности, и система диагностики, и система интерпретации полученных данных носят оптимизированный, вероятностный и находящийся в рамках известного доверительного интервала характер.

Результаты профессиографического исследования

Экспериментальное наполнение личностно-профессионального моделирования происходит на этапах содержательного, инструментального, математического и интерпретационного моделирования.

Предметно-содержательная модель отражает совокупное представление экспертами структуры и содержания предмета исследования. Речь идет о редукции предмета исследования к системе значимых требований профессии к сотруднику. С этой целью в 2014 г. проведено профессиографическое исследование с участием репрезентативной выборки экспертов из числа наиболее успешных специалистов органов внутренних дел (n=580), позволившее выявить в структуре профессиограммы 21 общее и 23 специфических профессионально важных качеств (ПВК) сотрудников. Это позволило разработать специализированные модели их ЛПП по 9 видам правоохранительной деятельности.

В качестве стимульного материала использована профессиографическая анкета О. Липмана в адаптации В.П. Петрова и А.Т. Ростунова (1988) [6]. Выявление ПВК осуществлено путем определения значимости качества по среднему баллу экспертизы, составлявшему 75–80% от максимально возможного уровня, с учетом минимального значения среднеквадратичного отклонения. Минимальный уровень оценки, позволяющий судить о выявленном качестве как о профессионально важном составил 3,94 балла.

Для адекватного измерения профессиональных требований ПВК были сгруппированы в блоки – предметно-содержательные предикторы.

Например, в предиктор «Речемыслительные качества» (РМК) вошли восемь общих качеств, таких как: умение выделить в информации главное, существенное; умение принять решение в очень короткий срок; выносливость в напряженной и длительной умственной деятельности и др.

Состав предиктора «Эмоционально-волевые качества» (ЭВК) составили: дисциплинированность; высокий самоконтроль поведения; умение брать на себя ответственность за принятие решения и действия; самообладание и выдержка и др.

Содержание предиктора «Коммуникативно-организаторские качества» (КОК) наполнилось показателем стремления человека соблюдать принятые в коллективе правила и нормы поведения.

В предикторы «Деловые качества» (ДК) и «Нравственно-этические качества» (НЭК) вошли: аккуратность в работе, трудолюбие, инициатива, находчивость, честность, искренность, порядочность и др.

К специфическим ПВК (например, для экспертно-криминалистической деятельности) отнесены такие качества, как: быстрое восприятие и понимание письменной речи, длительное сохранение интенсивного (концентрированного) внимания, длительное сохранение информации в памяти, развитая зрительная память, настойчивость, принципиальность, умение настоять на своем, противостоять влиянию со стороны и др. [14].

С учетом общих качеств, для сотрудников уголовного розыска выявлено 29 ПВК (3,94 балла); для сотрудников охраны общественного порядка – 31 ПВК (4,2 балла); для сотрудников ГИБДД – 34 ПВК (4,1 балла); для следователей – 26 ПВК (4,3 балла); для сотрудников информационно-аналитических и экспертно-криминалистических отделов – по 31 ПВК (4,3 балла) и т. д.

Полученные эмпирические данные показывают, что структура предикторов различных специализаций правоохранительной деятельности имеет разную, специфическую, конфигурацию, т. е., каждый предиктор имеет особенный весовой коэффициент. Весовой вклад предикторов определен путем вычисления пропорции, где сумма баллов ПВК специальности соотнесена с общей суммой баллов по всем предикторам.

Предметно-содержательная модель ЛПП сотрудников, например экспертно-криминалистических подразделений, посредством весовых коэффициентов представляется формулой:

Формула1

ЛППэкп = 0,47(РМК) + 0,27(ЭВК) + 0,11(ДК) + 0,09(КОК) + 0,06(НЭК),

где: ЛППэкп – личностно-профессиональная пригодность (для экспертно-криминалистических подразделений).

 

РМК - речемыслительные качества

ЭВК - эмоционально-волевые качества;

ДК - деловые качества;

КОК - коммуникативно-организаторские качества;

НЭК - нравственно-этические качества»

Как следует из формулы 1, в представленной модели доминирует предиктор речемыслительных качеств (РМК). Второе место по значимости занимают эмоционально-волевые качества (ЭВК). Далее следуют деловые (ДК), затем коммуникативно-организаторские (КОК) и нравственно-этические (НЭК) качества.

Проверка валидности психодиагностических средств

Инструментально-методическая модель представляет собой систему средств психологической оценки основных элементов предметно-содержательной модели. Аспекты использования методик в ассессменте глубоко проанализированы в справочном руководстве под редакцией М. Даннетта и И. Хока (1990–1992) [1]. Обзор тестов и других инструментов отбора и распределения персонала в зарубежной профессиологии представлен у А. Анастази (2001), К. Вана Иддекинга (2012), Ф. Лэнди (1994), Х. Осберна (1991), Д. Онеза (1993), Ф. Шмидта (2013) и др. Подобные работы есть и у отечественных авторов – А.А. Бодалева и В.В. Столина (2002), В.А. Бодрова (2001), Л.Ф. Бурлачука и С.М. Морозова (2000), Б.В. Кулагина (1984) и др.

Примененная диагностическая тестовая батарея ППО сотрудников содержит девять автоматизированных психодиагностических методик, которые «перекрывают» 94% ПВК:

  • Прогрессивные матрицы Равена (36-пунктовый вариант с 15-минутным ограничением);
  • «Аналогии» (30-пунктовый вариант с 4-минутным ограничением);
  • «Словарь» (28-пунктовый вариант с 5-минутным ограничением);
  • Краткий отборочный тест (40-пунктовый вариант с 15-минутным ограничением);
  • Модифицированный вариант методики «Мотивационный профиль» Ш. Ричи, П. Мартина (М-профиль);
  • Многомерный метод исследования личности (в адаптации Ф.Б. Березина, М.П. Мирошникова, 384-пунктовый вариант);
  • «Оценка уровня развития волевой саморегуляции» А.Г. Зверкова, Е.В. Эйдмана (опросник ВСК);
  • Методика изучения правосознания Л.А. Ясюковой;
  • «Оценка субъективной локализации контроля над значимыми событиями» Е.Г. Ксенофонтовой [1, с. 104].

Проведенная в 2016–2017 гг. на этапе инструментально-методического моделирования проверка валидности средств оценки ЛПП сотрудников (n=6 758) выявила значительные психометрические и организационно-методические проблемы. В их числе:

  • большая стандартная ошибка измерений по различным направлениям служебной деятельности (2,87–3,18 стэна);
  • отсутствие в значительной части показателей дифференцирующей силы (29%);
  • большое число показателей (32%), корреляция которых не достигает статистически значимого уровня (p<0,05) и др.

По отдельным видам правоохранительной деятельности негативные тенденции возрастают.

Например, в информационно-аналитических подразделениях лишь 17 тестовых показателей (из 56) удовлетворительно дифференцируют сотрудников (p<0,05) относительно оценок эффективности их профессиональной деятельности (по t-критерию Стъюдента).

Эти данные подтверждают наличие глобальных психометрических проблем современной отечественной психодиагностики, связанных с методическим инструментарием прикладной психологической науки (Н.А. Батурин, 2010).

Результаты констатирующего эксперимента

Формально-математическая модель – это конструкция, имеющая отличную от прототипов физическую, химическую или биологическую природу, но допускающая сходное с оригиналом математическое, программное и логическое описание объекта ассессмента. Ее цель и предназначение состоят в том, чтобы наиболее полно отобразить нужную для изучения сторону (часть, элемент, функцию) объекта-прототипа, т. е., осуществлять имитационное моделирование, связанное с рядом математических проблем (В.В. Юрченко, 1983).

Как указывают многие авторы, удовлетворительных математических оснований психологии еще не разработано. Б.Ф. Ломов отмечал, что «… вряд ли можно возражать против необходимости разработки специального математического аппарата для психологии. Однако пути разработки такого аппарата пока еще неясны» [8, с. 13–14]. Недостаточность имеющихся математических методов для анализа системных проблем отмечал Л. фон Берталанфи. Эту же мысль высказывали Л.В. Канторович, Г.А. Смирнов (1983) и др. И это при том, что, как в свое время подчеркивал Л.Ф. Бурлачук, «… вряд ли кто-либо сегодня решится утверждать, что в области измерения (оценки) индивидуальных различий мало что изменилось со времен Гальтона и Кеттелла» [5; 6].

С учетом всего этого для построения формально-математической модели какого-либо объекта необходимо, прежде всего, выявить имеющие к нему отношение факторы и описать его характеристики, оценивая при этом переменные величины, оказывающие основное влияние на результат. Эффективность математического моделирования зависит от характера задач исследования, мастерства экспериментатора, избранного вида модели, регламента времени и средств.

Необходимо также учитывать, что математическое моделирование в психологии сталкивается с некоторой «сдержанностью» исследователей в этой области знаний, потому что она связана со сложными статистическими расчетами, известной редукцией психологического материала, компьютеризацией и т. д.

Математическое представление исследуемого психологического объекта в профессиологии может осуществляться на основе регрессионных математических моделей (Б.В. Кулагин, 1984), моделей распознавания образов (Я.А Фомин, 2012), формальной теории целостности (Г.А. Смирнов, 1979–1983), химических уравнений (Дж.К. Равен, Д. Курт, Д. Равен, 1998) и др.

Выбор информативных показателей тестов, вошедших в математическую модель прогноза ЛПП сотрудников осуществлен по следующим критериям:

  • нормальность распределения данных (с использованием асимметрии и эксцесса);
  • значимое соотношение показателя с показателем внешнего критерия (по величине корреляции Rзн, при p<0,05);
  • минимальная величина интеркорреляций между информативными показателями (R<Rзн).

В ходе реализации формально-математического моделирования на экспериментальной выборке сотрудников (n=508) разработаны модели прогноза профессиональной пригодности в формате уравнений множественной линейной регрессии для нескольких возрастных диапазонов испытуемых.

Например, для возраста 25–35 лет прогноз ЛПП сотрудников осуществлен в виде математически оформленной тестовой конструкции, представленной в формуле 2.

Формула 2

ЛПП = -0,88 + 0,08*Х1 + 0,07*Х2 + 0,08*Х3 + 0,07*Х4 + 0,05*Х5 + 0,06*Х6 + 0,15*Х7 + 0,12*Х8 + 0,14*Х9 + 0,06*Х10,

где: Х1 – «Аналогии» (Тч – шкала «точность»); Х2 – КОТ (Пр – шкала «продуктивность»); Х3 – КОТ (Эф – шкала «эффективность»); Х4 – М-проф. (ВВ – шкала «власть и влиятельность»); Х5 – ММИЛ (F – шкала достоверности, аггравации); Х6 – ММИЛ (Sc – шкала «шизоидность»); Х7 – ВСК (В – шкала «волевой настрой»); Х8 – УСК (Ио – шкала «интернальность общая»); Х9 – УСК (Им – шкала интернальность в межличностном общении»); Х10- УСК (Ис – шкала «интернальность в семейных отношениях»); Х11 – ПрС (ПЗ – шкала «правовые знания»).

 

 

Анализ прогностической мощности и эффективности азработанных моделей ЛПП показал, что расчетный коэффициент множественной детерминации перекрывает достаточно большую область профпригодности – 94% изменений показателей (94% объясняемой дисперсии признака). Например, представленная в формуле 2 модель в стэновой шкале корректно распределяет испытуемых в интервале от 0,3 до 6,98. При этом остается пространство для ее совершенствования в направлении полного «перекрытия» 10-ти балльного диапазона значений.

В качестве внешнего критерия в модели используется экспертная оценка результативности оперативно-служебной деятельности сотрудников. Экспертиза осуществлена при помощи метода парных сравнений, полярных групп и групповой оценки личности.

Интерпретационная модель – это совокупный вывод об уровне развития и проявления переменных. В данном пункте результат личностно-профессиональной диагностики сводится к определению четырех категорий ЛПП в соответствии с нормальным разбросом данных относительно средних показателей методик.

Для оценки ЛПП сотрудников использованы статистические данные внешнего критерия (Мх+δх).

Граница первой категории ЛПП (эффективные сотрудники, рекомендуются) определяется формулой Мхх.

Вторая категория ЛПП (достаточно эффективные сотрудники, рекомендуются с ограничениями) располагается в диапазоне от Мх до Мхх.

Третья категория ЛПП (средне успешные сотрудники, условно рекомендуются) находится в интервале от Мхх до Мх.

Четвертая категория ЛПП (неуспешные сотрудники, не рекомендуются) определяется в зоне значений показателей менее Мхх.

Проведенная в 2016 г. проверка эффективности реализуемой в МВД России инструментально-методической модели ППО (n=235) показала, что наряду с преимуществами у модельного подхода есть и определенные ограничения [6].

Это определяет основание для дальнейшего совершенствования модели оценки ЛПП, как на концептуальном, так и на организационно-методическом уровне.

Выводы

1. Модельный подход в теории и практике ППО имеет актуальные научные основания и богатую, продолжительную историю реализации. По существу, модель как психологический образ реальности составляет основу психической реальности субъекта труда.

2. Моделирование является эффективным методом изучения психических особенностей личности в сопоставлении с объективными требованиями профессиональной деятельности, что предполагает разработку и использование достоверного инструмента решения задач оценки и повышения надежности сотрудников МВД России. Модель обладает высокой адаптивностью к уточнениям задач их оперативно-служебной деятельности и предполагает высокую степень методического обеспечения ППО.

3. Реализуемое в МВД России моделирование ППО имеет свою структуру, включающую теоретическую, содержательную, методическую и формальную составляющие. Их целостное и последовательное практическое воплощение позволяет достоверно повысить качество кадровой работы органов внутренних дел и с необходимостью обеспечить решение основных задач, стоящих перед правоохранительной системой России.

Ссылка для цитирования

Литература
  1. Анастази А., Урбина С. Психологическое тестирование. 7-е изд.:. пер. с англ. СПб.: Питер, 2001. 688 с.
  2. Бодров В.А. Психология профессиональной пригодности: учеб. пособие для вузов. М.: ПЕР СЭ, 2001. 511 с.
  3. Бородина Т.И., Носс И.Н. Личностно-профессиональная спецификация государственных служащих: монография / Под общ. ред. А.В. Булгакова. М.: ИИУ МГОУ, 2018. 288 с.
  4. Братко А.А. Моделирование психики. М.: Наука, 1969. 176 с.
  5. Бурлачук Л.Ф. Психодиагностика на рубеже веков // Психологическая газета. Апрель,1999. № 4(43). С. 6.
  6. Дашко М.Н., Виноградов М.В. Профессиональный психологический отбор на службу в органы внутренних дел: новый подход к изучению личных и деловых качеств граждан, поступающих на службу в подразделения МВД // Психопедагогика в правоохранительных органах. 2015. № 3 (62). С. 101–105.
  7. Деркач А.А., Носс И.Н. Акмеологическая диагностика и оценка кадров государственной службы: монография. Т. 1. М.: Изд-во РАГС, 2011. 211 с.
  8. Крук В.М., Носс И.Н., Федотов А.Ю. Психодиагностическая оценка надежности сотрудника: учеб. пособие для студентов вузов / Под ред. В.М. Крука. М.: ЮНИТИ-ДАНА, 2017. 143c.
  9. Кубышко В.Л. Совершенствование психологической работы в системе морально-психологического обеспечения оперативно-служебной деятельности личного состава органов внутренних дел // Национальный психологический журнал. 2017. № 4 (28). С. 95–103.
  10. Ломов Б.Ф. Методологические проблемы психологического эксперимента // История и актуальные проблемы развития экспериментальной психологии в России. М.: Наука, 1990. С. 12–29.
  11. Носс И.Н. Профессиональная психология: Психологический отбор персонала. М.; Владивосток: Изд-во «Лит», 2005. 191 с.
  12. Прохоров А.О., Юсупов М.Г. Рефлексивный слой познавательных состояний // Экспериментальная психология. 2017. Т. 10. № 2. С. 91–103.
  13. Путин В.В. Ежегодное Послание к Федеральному собранию. 01 марта 2018 г. [Электронный ресурс] // URL: https://versia.ru/smi-ezhegodnoe-poslanie-prezidenta-federalnomu-sobraniyu-mogut-perenesti-na-2018-god (дата обращения: 19.03.18).
  14. Селиванов В.В. Мыслительные процессы в функциональной структуре интеллекта // Экспериментальная психология. 2017. Т. 10. № 2.. С. 67–78.
  15. Собрание законодательства Российской Федерации. 2012. № 50. Ч. 6. Ст. 7075. С. 16705–16709.
Статьи по теме
 
О проекте PsyJournals.ru

© 2007–2020 Портал психологических изданий PsyJournals.ru  Все права защищены

Свидетельство регистрации СМИ Эл № ФС77-66447 от 14 июля 2016 г.

Издатель: ФГБОУ ВО МГППУ

Creative Commons License

Яндекс.Метрика