Проблема качества программ работы практического психолога образования и критериев их оценки

Дан анализ проблемы оценки содержания учебно-методических материалов в системе Службы практической психологии образования. Обращается внимание на существующие трудности определения основного содержания методологии собственно практической психологии. Приводятся данные качественного анализа региональных программ, присланных на «Всероссийский конкурс лучших психолого-педагогических программ и технологий в образовательной среде» в 2018 и 2019 гг. Предлагается авторское понимание сущности практической психологии, на основании которого выделяются и основные критерии оценки программ работы педагога-психолога, и действия, необходимые для решения основной задачи современной психологической науки и практики — обеспечения качества работы практического психолога.

В «Концепции развития психологической службы в системе образования в Российской Федерации на период до 2025 года» (далее Концепция) отмечается, что в числе приоритетных направлений развития Службы находится «...деятельность по научно-методическому обеспечению», которая будет направлена и на «.разработку и адаптацию новых коррекционно-развивающих, коррекционно-реабилитационных и профилактических программ» (Раздел 4) [Концепция развития психологической]. Такие задачи постоянно решаются как в рабочем порядке, так и через организацию творческих соревнований, направленных на выявление лучших разработок. Последние проводятся уже не первый год и на федеральном, и на региональном уровнях [Каталог психолого-педагогических программ; Психология развития и; Реестр лучших психолого-педагогических]. В частности, уже одиннадцать лет проводится Всероссийский конкурс лучших психолого-педагогических программ и технологий в образовательной среде. Через региональную систему отбора на основе требований, сформулированных в Положении о конкурсе, выделяется значительное число лучших авторских программ, каждая из которых относится к тому или иному направлению работы специалиста. В 2019 году на федеральный этап конкурса поступило 95 программ, одобренных по итогам отборочных этапов 39 субъектов Российской Федерации, в соответствии с семью номинациями Конкурса [подробнее о требованиях см. 12].

Как Концепция, так и Положение о конкурсе становятся теми ориентирами, на которые опирается разработчик программы. Первый ориентир — это скорее «декларация о намерениях», так как ее текст больше похож на перспективный план того, что ожидается от Службы практической психологии и ее звеньев. Это «политическая декларация», в которой сформулированы стратегические задачи, направленные и на совершенствование рабочего инструмента педагога-психолога.

Вторым ориентиром можно считать содержание документов, в которых формулируются требования к программам работы педагога-психолога, и положения проводимых в России конкурсов [Булатова, 2014; Иванченко, 2006; Организация деятельности Службы, 2005; Положение о Всероссийском; Стандарт доказательности социальных, 2018; Требования к психолого-педагогической]. Это конкретные требования к уже существующим, внедренным, используемым программам, которые претендуют на статус «лучших».

Наличие таких ориентиров позволяет нам предметно обсуждать те проблемы, которые возникают в деле разработки и использования существующего на местах и документально оформленного инструментария педагога-психолога. Один из эффективных путей такого анализа — изучение содержания опубликованных в открытой печати материалов программ, что дает возможность рассматривать не только формальную, нормативную, «внешнюю» сторону требований к ним, но и сущностную, отражающую содержание продукта деятельности профессионала.

Содержание учебно-методических материалов разных уровней и подразделений Службы практической психологии образования показывает, что до сих пор не решена одна очень важная задача — определение основного содержания методологии собственно практической психологии. К сожалению, такое положение дел не позволяет реализовать одну из задач, поставленных еще I Съездом практических психологов образования России (1994 г.), где рекомендовалось органам управления образования «.установить централизованное обеспечение практических психологов образования необходимыми методическими средствами, профессиональной документацией и т.д.; создать в Министерстве образования (Отделе психологической службы) специальное подразделение по координации разработок, публикации и распространению материалов для практических психологов образования...» [Распоряжение Правительства Новосибирской].

Проведенный нами анализ показывает, что методологическая слабость подготовки специалистов обнаруживает себя в той части текстов программ, где речь идет о ее научно-методических основаниях. Здесь чаще всего положение дел можно обозначить известной фразой «Кто во что горазд.». В значительном числе изученных нами программ преобладает разнобой, эклектичность и логическая запутанность, нечеткость в описании и обосновании частных методологий.

Естественно, что отсутствие общей методологии, определяющей требования к процессу практической работы специалиста, и состояние проблемы экспертизы в образовании создают трудности не только в организации работы, но и в ее оценке [1; 2; 3; 8; 10; 15 и др.]. Это достаточно прозрачно отражается в текстах программ, разработанных педагогами-психологами. Анализ заключений экспертов, рецензий на материалы, находящиеся в открытой печати, а также содержания программ, присланных для участия в конкурсе из разных регионов России, показывает, что их авторы достаточно часто испытывают затруднения даже в понимании содержания требований, сформулированных в Положении. И поэтому не могут качественно их выполнить. Все эти аспекты хорошо «высвечиваются» при анализе программ, представленных в региональных сборниках, а также в каталоге программ, присланных на Всероссийский конкурс лучших психолого-педагогических программ и технологий в образовательной среде в 2018 и 2019 гг.

Особенности программ работы педагога-психолога

1.   Типы / виды отечественных программ работы педагога-психолога образования наиболее ярко представлены в ряде систематически издаваемых сборников [Каталог психолого-педагогических программ; Психология развития и; Реестр лучших психолого-педагогических]. Чаще всего здесь представлены такие разновидности, как:

•              развивающая программа;

•              коррекционная программа;

•              коррекционно-развивающая программа;

•              образовательная (просветительская) психолого-педагогическая программа;

•              профилактическая психолого-педагогическая программа.

2.   Несмотря на определенную степень соответствия текстов общим требованиям к программам, обозначенным и в федеральных, и в региональных документах, значительная их часть имеет определенные недостатки, снижающие качество этого методического инструмента.

3.   Сам факт наличия проблемы качества приводит к необходимости анализа причин этого. Очевидно, что причины такого положения дел могут находиться как в содержании и качестве подготовки (повышения квалификации, переподготовки) специалистов, так и в системе отбора материалов, находящихся в открытой печати (критериев их выбора, оценки и т.п.). В связи с этим мы вновь возвращаемся к вопросу об актуальности темы подготовки практических психологов, к проблеме научно обоснованных оснований аттестации, оснований и критериев экспертизы продукта профессиональной деятельности и сертификации специалистов и т.п. [Забродин, 2018].

На примере исследования содержания программ работы специалистов Службы практической психологии мы можем прояснить наиболее важные вопросы методологической подготовки тех, кто их создавал.

Очевидно, что проанализировать весь массив текстов, представленных в открытой печати, — задача очень сложная и требующая колоссальных ресурсов. Понятно и то, что формат статьи не позволяет представить все материалы проведенного анализа. Поэтому здесь сфокусируемся только на том материале, который прошел экспертизу и расценен как наиболее качественный из определенной выборки. Такую возможность нам дают информационные интернет-ресурсы ФПО и ряда ведущих региональных центров. В частности, сфокусируемся на текстах программ, присланных на Всероссийский конкурс лучших психолого­педагогических программ и технологий в образовательной среде в 2018 году. Исследование содержания этих текстов показывает, что среди их «слабых мест» в первую очередь следует выделить несоблюдение / игнорирование требований отдельных разделов Положения о конкурсе (примерно в 2/3 текстов либо не представлена информация по ряду разделов, выделенных в требованиях, либо она недостаточно конкретна).

Особо это касается таких аспектов, как:

•          методология, на которой построено содержание программы;

•         смысловая связь между выделенными теоретическими основаниями и содержаниемпрограммы,интерпретацией полученных результатов и т.п.;

•        обоснование выбора конкретных методические средств, инструментария и определение критериев эффективности их применения;

•       выраженность смысловой связи между обозначенной методологией и такой составляющей, как «психологические особенности контингента потенциальных участников»;

•            система контроля за реализацией программы;

•            критерии оценки достижения результатов (качественные и количественные);

•            сведения о практической апробации программы (технологии) на базе организации;

•            данные о результатах, подтверждающих эффективность реализации программы;

•            оригинальность, шаблонность, компилятивность идей и текста;

•            представленность возможностей современных цифровых технологий в реализации целей и задач работы педагога-психолога.

Для конкретизации вышеобозначенного в качестве примера используем материалы, представленные в таблице 1.

Таблица 1.

Номинация: образовательные (просветительские) программы

 

Важно отметить, что качество присланных на конкурс материалов проявляется уже на стадии выбора номинации, в формулировке названия программы, тексте пояснительной записки, при выделении цели, задач, выборе способов работы и т.п. В частности, при экспертизе присланных на конкурс текстов эксперты обнаруживают факты несоответствия содержания программы специфике выбранной номинации, что может служить свидетельством уровня методологической подготовки разработчиков. Данный факт становится критерием оценки — «трудности дифференциации содержания работы по профилактике и просвещению, развитию и коррекции».

Второй критерий оценки качества материала и профессионального уровня разработчиков — «внутренние противоречия, отсутствие логической / смысловой связи между частями / разделами в тексте программы». Таких программ, где одна часть текста логически не связана с другой, противоречит по смыслу другой, где слабо выражена связь между смысловым содержанием каждого раздела программы, достаточно много.

Например:

1)  в названии написано «Комплексная программа развития жизнестойкости подростков как средства профилактики негативных явлений в среде несовершеннолетних». Номинация — «Профилактические психолого-педагогические программы — программы, направленные на профилактику трудностей в обучении, воспитании и социализации, отклонений в развитии и поведении обучающихся, воспитанников». Но в выводах, сформулированные по результатам применения программы, написано, что эта программа будет полезна в процессе реабилитации несовершеннолетних, склонных к совершению правонарушений и состоящих на различных видах профилактического учета;

2)  в пояснительной записке вид программы обозначен как «Профилактическая психолого­педагогическая программа», а в аннотации уже написано «...программа является коррекционно­развивающей и предназначена для учащихся 5 класса». Далее написано: «Цель программы: обучение учащихся жизненно важным навыкам...», в задачах на первом месте — «способствовать осознанию своих качеств и повышению самооценки».

Или так: в названии — «Психокоррекция с элементами профориентации», а в тексте целью определено развитие: «.обогащение чувственного познавательного опыта (на основе формирования умений наблюдать, сравнивать, выделять существенные признаки предметов и явлений и отражать их в речи), нацеленное на развитие памяти, мышления, речи, воображения». Здесь же в задачи входят «.коррекция недостатков познавательной деятельности детей в процессе систематического и целенаправленного восприятия формы, конструкции, величины, особых свойств предметов, их положения в пространстве», «.исправление недостатков моторики» и т.п.

3) выполняя требования к научно-методическим основаниям психолого-педагогической программы, представляемой на конкурс (Приложение 2 Положения о конкурсе, п. 5.), авторы программ делают это, например, так: «Научно-методологическую основу при составлении программы составили работы: Леонть­ев А.А. Психология общения; Марасанов Г.И. Социально-психологический тренинг; Райс Ф. Психология подросткового и юношеского возраста; Фопель К. Как научить детей сотрудничать?». Или просто перечисляют известные в зарубежной и отечественной психологии теории, никак не связывая их далее с выбором методических средств или содержанием программы, интерпретацией полученных в процессе ее внедрения результатов, например, ограничиваются следующим утверждением: «Качественный подход обеспечивается научными разработками Ж. Пиаже, Н.И. Сахарова, А.Р. Шевченко и др.; возрастной и культурно-личностный — Л.С. Выготского, Л.И. Божович, А.В. Запорожца, деятельностный — С.Л. Рубинштейна, А.Н. Леонтьева, Д.Б. Эльконина, В.В. Давыдова. Кроме этого, научной основой содержания программы являются исследования ведущих психологов и педагогов: В.В. Лебединского, К.С. Лебединской, О.С. Никольской, И.И. Мамайчук, М.И. Лисиной, Е.О. Смирновой, Л.Н. Галигузовой, Дж. Боулби, М. Эйнсуорта.»

Даже этих немногочисленных примеров достаточно для того, чтобы оценить актуальность обсуждаемой темы и продолжить ее обсуждение в контексте проблемы качества подготовки специалиста и последующего его применения в конкретной работе.

Очевидно, что решение выделенной задачи невозможно без решения фундаментальных проблем самой практической психологии — определения специфики содержания ее предмета, методов, критериев оценки эффективности процесса и результата и т.п.

Наш опыт исследования проблемы определения сущности и специфики содержания предметной области практической психологии позволяет сформулировать следующее ее понимание.

Практическая психология — одно из прикладных направлений деятельности психолога, направленной на оказание непосредственной профессиональной помощи тем, кто испытывает определенные затруднения в той или иной жизненной ситуации, при решении такого типа задач, в которых психологическая составляющая является одним из условий достижения искомого конструктивного результата.

Предметом работы практического психолога являются психологические ресурсы личности, возникающие, развивающиеся и проявляющиеся в конкретных условиях сообразно их специфике. Имплицитно они представлены в запросе, сформулированном заказчиком психологических услуг.

Специфическим для этого направления деятельности является то, что специалист этого профиля реализует свой профессиональный потенциал не в решении задач психологии (как области знания), а в решении конкретной практической задачи, сформулированной человеком / группой (заказчиком его услуг), нуждающимся в помощи практического психолога. В отличие от других направлений психологии, здесь активность специалиста сфокусирована не на открытии / создании нового знания, новой технологии, а на работе с психологическим содержанием запроса обратившегося за помощью человека, на эффективности действий, осуществляемых по отношению к выделенному с клиентом предмету. Качество профессиональной подготовки специалиста, актуализированное в обращении к тем или иным внутренним ресурсам человека / группы, отражается в характере взаимодействия с нуждающимся в помощи. Эффективность такой работы определяется степенью соответствия достигнутого результата содержанию запроса, цели и выделенным задачам, сформулированным вместе с клиентом.

Еще одна особенность такой профессиональной деятельности заключается в том, что специалист реализует свою профессиональную компетентность в условиях тех ограничений, которые заданы спецификой сферы, в которой он ее осуществляет. Он не может игнорировать ее требований, установленных там «границ», реальные условия для проявления тех или иных возможностей самореализации человека и т.п. Результат работы практического психолога представляется в достижении поставленной обеими сторонами цели, в качестве решения задач, сформулированных в запросе клиента; в характере изменений психологических ресурсов, обратившегося за помощью; в оперативности реализации поставленной клиентом задачи, в оценке эффективности его действий в процессе работы с клиентом и т.п.

Критерии оценки программы работы педагога-психолога

Опора на представленное здесь понимание сущности практической психологии, анализ содержания текстов, в которых осуществлены попытки выделения критериев оценки продукта деятельности практического психолога и т.п., позволяет нам выделить те базовые составляющие, «ориентиры», которые станут «точкой отсчета» при определении качества продукта деятельности практического психолога. В частности, возвращаясь к проблеме качества программ работы педагога-психолога, предлагаем к обсуждению модель их оценки, в которой выделены 3 основных блока:

1) «формальный» (соблюдение стандартных требований к оформлению документов такого рода, установленных правил) — индекс Ф;

2)  «технический» / «структурный» (наличие всех требуемых элементов / разделов и их содержания, отражающего сущность данного вида программы и соответствующего ее целям) — индекс Т;

3)   «специфически профессиональный» / «содержательный» (наличие и уровень качества обоснований, профессиональной аргументации выбора темы, цели, способов решения поставленных задач и профессиональная точность в определении критериев эффективности; соответствие содержания программы специфике требований сферы, в которой она будет реализовываться, возрастным, гендерным и др. отличиям тех, для кого она создана; содержательная связь между частями программы, непротиворечивость содержания разных разделов, оригинальность идеи и текста и т.п.) — индекс П.

Для оценки качества каждого из этих блоков предлагается использовать следующие критерии:

•   выполнение требований к оформлению, содержанию и структуре программы;

•   соблюдение требований к представлению учебных и методических материалов, необходимых для

реализации программы (технологии);

•  качество текста программы (соответствие правилам русского языка и требованиям, предъявляемым к учебно-методическим текстам);

•   соблюдение закона об авторских правах, соотношение авторского и заимствованного текста, требований к выполнению правил заимствования / компиляции в профессиональных текстах и т.п.;

•   соответствие содержания программы (технологии) требованиям, отраженным в действующих нормативных и иных документах (профессиональный стандарт, ФГОС и т.п.), регламентирующих деятельность специалиста;

•   обоснованность и профессиональная аргументированность выбора вида программы (технологии) для решения выделенной задачи (развивающая, профилактическая, коррекционно-развивающая, про­свещенческая и т.п.);

•   четкость и последовательность в описании структуры программы (технологии), наличие внутренней логики построения, содержательная взаимосвязь основных модулей;

•  соответствие содержания программы психологическим особенностям тех, на помощь кому она направлена;

•     конкретность и точность в научно-методическом и нормативно-правовом обосновании целей, задач и основного содержания программы (технологии);

•     реалистичность выделенных в программе целей, задач и сроков их достижения, решения;

•    соответствие основного содержания всех разделов программы (технологии) выделенным в программе целям и задачам;

•     соответствие выбранных в программе (технологии) способов решения профессиональной задачи выделенным целям, задачам и особенностям контингента, на помощь которому направлено ее содержание.

•      технологичность и комплексность решения задач с помощью заявленных мероприятий;

•   обоснованность и профессиональная грамотность выбора и применения используемых конкретных методик, технологий (характер аргументации выбора, полнота описания логики выбора, профессиональная надежность использованных источников заимствования инструментария, обоснованность применения в отношении реализуемой цели и решаемых задач и т.п.);

•     точность, конкретность, аргументированность содержания требований к специалистам, реализующим программу (технологию);

•   содержательность, реалистичность, логичность аргументации и конкретность требований к материально-технической оснащенности организации для реализации программы (технологии) (помещение, оборудование и т.д.);

•    аргументированность выбора и точность описания требований к информационной обеспеченности для реализации программы (технологии);

•   обоснованность выбора, алгоритма и последовательности реализации программы (технологии) в условиях указанного учреждения (образовательной среды) с выделенными здесь участниками;

•    конкретность и реалистичность описания планируемых результатов реализации программы (технологии);

•    выбор системы контроля за реализацией и эффективностью использования программы и соответствие ее выделенным в ней целям и задачам;

•     обоснованность выбора критериев оценки достижения результатов (качественных и количественных) и способов / форм их использования / приложения;

•     конкретность сведений о практической апробации программы (технологии) и качество их содержания; качество представления значимости результатов, данных, подтверждающих эффективность реализации программы (технологии);

•    использование в программе возможностей современных цифровых технологий и адекватность их применения в соответствии с решаемыми в программе задачами;

•     оригинальность текста программы (уникальность идеи и технологии), следование принципу преемственности, развития традиций отечественных научных школ и опыту психолого-педагогической практики в России.

Каждый из этих параметров может быть оценен экспертом по цифровой шкале о 0 до 4 баллов. Для каждого блока программы здесь установлено максимальное значение исходя из «веса значимости» этого блока в окончательной оценке качества продукта.

В качестве рабочего инструмента эксперта может быть использован бланк примерно такого вида:

Протокол экспертной оценки психолого-педагогической программы

по номинации «...»

Автор:

Наименование конкурсной программы: «.»

Результаты оценивания конкурсной программы

 

 

Комментарии эксперта:

Рекомендации эксперта:

Член Экспертного Совета _____________________ / /

Председатель Экспертного Совета____________________ / /

Дата «      »                202 г.

Обобщая все обсуждаемое выше, выделим действия, которые все заинтересованные лица могут реализовать для решения основной задачи — обеспечения качества работы психолога образовательных учреждений:

1)    на всех уровнях управления и научно-методического обеспечения Службы практической психологии образования согласовать, скоординировать работу в направлении подготовки и реализации мер, обеспечивающих помощь педагогам-психологам в работе по повышению качества их профессиональной деятельности;

2)    подготовить и опубликовать методические материалы для организаций и специалистов, содержание которых направлено на решение проблемы качества разрабатываемых и реализуемых в профессиональной деятельности педагога-психолога программ;

3)  разработать программы повышения квалификации / переподготовки по направлению «Качество программ работы педагога-психолога в учреждениях образования» и организовать дополнительное обучение специалистов с целью оказания помощи педагогу-психологу в создании, апробации и реализации авторских, оригинальных и инновационных программ;

4)   создать постоянно действующий, пополняемый методический ресурс — «Банк основных методических средств педагога-психолога», качество содержания которого гарантировано профессиональным экспертным сообществом. Обеспечить доступность этого банка всем работающим в должности «педагог- психолог»;

5) ведущим факультетам, учреждениям, осуществляющим подготовку специалистов психолого­педагогического направления и их профессиональное сопровождение, поддержку, интенсифицировать локальную методическую помощь регионам, не имеющим достаточных профессиональных ресурсов для решения следующих задач:

•   обеспечение всех необходимых условий для выполнения специалистами основных требований к содержанию программ их работы;

•   повышение контроля за качеством продуктов профессиональной деятельности педагогов-психологов;

•   пополнение и совершенствование качества постоянно действующего методического ресурса — Банка основных методических средств педагога-психолога;

6) вопросы повышения качества работы педагога-психолога рассматривать на всех профессиональных форумах, связанных с тематикой подготовки специалиста и обеспечения условий его эффективной деятельности.

 

1. Братченко С.Л. Мир экспертизы и его возможные координаты // Экспертиза образовательных инноваций / Под ред. Г.Н. Прозументовой. Томск: Томский государственный университет, 2007. С. 23–45.
2. Булатова О.В. Требования к составлению психокоррекционных программ // Вестник Югорского государственного университета. 2014. № 1 (32). С. 18–23.
3. Забродин Ю.М., Пахальян В.Э. Проблемы оценки соответствия профессиональной деятельности практических психологов требованиям внедряемых стандартов (еще раз об экспертах и экспертизе в практической психологии) [Электронный ресурс] // Психолого-педагогические исследования. 2018. Том 10. № 2. С. 21–42. doi: 10.17759/psyedu.2018100203
4. Иванченко Г.В. Экспертное сообщество в постсоветском и западном мире // Экспертиза в современном мире: от знания к деятельности / Под ред. Г.В. Иванченко, Д.А. Леонтьева. М., 2006. 454 с.
5. Каталог психолого-педагогических программ и технологий в образовательной среде [Электронный ресурс] // Портал психологических изданий PsyJournals.ru. URL: https://psyjournals.ru/files/98422/pppt_catalog_2018.pdf (дата обращения: 02.02.2019).
6. Концепция развития психологической службы в системе образования в Российской Федерации на период до 2025 года (утв. Минобрнауки России от 19.12.2017) [Электронный ресурс] // Законы, кодексы и нормативно-правовые акты Российской Федерации. URL: https://legalacts.ru/doc/kontseptsija-razvitijapsikhologicheskoi-sluzhby-v-sisteme-obrazovanija-v-rossiiskoi/ (дата обращения: 20.02.2019).
7. Материалы I съезда практических психологов образования Российской Федерации. М., 1994.
8. Мкртычян Г.А. Психолого-педагогическая экспертиза в образовании: теория и практика: Автореф. дисс. … доктора психол. наук. Н. Новгород, 2002. 33 c.
9. Организация деятельности Службы психолого-педагогического сопровождения в системе образования Новосибирской области. Книга III. Новосибирск, 2005. 60 c.
10. Пахальян В.Э. Практическая психология. Введение. Саратов: Вузовское образование, 2015. 198 c.
11. Положение о Всероссийском конкурсе лучших психолого-педагогических программ и технологий в образовательной среде [Электронный ресурс] // Федерация психологов образования России. URL: https://rospsy.ru/KP2019 (дата обращения: 19.02.2019).
12. Психология развития и адаптации. Сборники материалов по результатам областного конкурса психолого-педагогических программ 2010–2019 гг. Самара [Электронный ресурс] // Региональный социопсихологический центр. Сетевое издание. URL: http://rspc-samara.ru/function/rediz/psyhadapt/ psyhadapt.html (дата обращения: 17.12.2019).
13. Распоряжение Правительства Новосибирской области от 26 сентября 2017 года № 379-рп «Об утверждении концепции развития психологической службы в системе образования Новосибирской области на период до 2025 года» [Электронный ресурс] // Техэксперт. URL: http://docs.cntd.ru/document/465720168 (дата обращения: 20.02.2019).
14. Реестр лучших психолого-педагогических программ [Электронный ресурс] // ВМК психолого-педагогического сопровождения региональной системы образования. URL: https://psy.viro.edu.ru/index.php/85-novosti/239-reestr-luchshikh-psikhologo-pedagogicheskikh-programm (дата обращения: 16.02.2019).
15. Стандарт доказательности социальных практик в сфере детства. М., 2018. 41 c.
16. Требования к психолого-педагогической программе. Приложение 2 к положению об областном конкурсе психолого-педагогических программ «Новые технологии для “Новой школы”» [Электронный ресурс] // Гарант. URL: https://base.garant.ru/42862036/f52b32b623103013c77c8c319c288f45/ (дата обращения: 07.12.2019).

PlumX

Метрики публикации