Научные журналы считают «по белому». Интервью с экспертами

В октябре-ноябре 2022 года состоялись два важных для российских научных журналов события, которые призваны изменить научный публикационный ландшафт в России. Первое из них — вышел обновленный Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук (по состоянию на 01.11.2022 г.) Высшей аттестационной комиссии при Министерстве науки и высшего образования Российской Федерации (ВАК)[1] и второе — опубликован «Белый список» — перечень авторитетных научных журналов, утвержденный межведомственной рабочей группой Минобрнауки РФ (Протокол ДА/3855-пр от 20.10.2022 г., Приложение 1)[2].

По поводу опубликованного Перечня журналов ВАК необходимо отметить, что он составлен уже с учетом новой номенклатуры научных специальностей[3], но еще не содержит информацию о категориях журналов, определяющих их значимость для защит. Как известно, на первом пленарном заседании ВАК в новом составе было рекомендовано провести градацию изданий данного списка, распределив их на три категории по убыванию значения «интегрального рейтингового показателя» журнала — К1 (первые 25% журналов), К2 (следующие 50% журналов), К3 (оставшиеся 25% журналов)[4]. «Белый список» журналов принят Межведомственной рабочей группой (МРГ), утвержденной Министром образования и науки Минобрнауки, в состав которой вошли представители Российской академии наук, Российского центра научной информации (РЦНИ, бывш. РФФИ), крупнейших отечественных вузов и научных организаций. Список опубликован на сайте РЦНИ[5] и включает российские и зарубежные журналы, индексируемые в Web of Science Core Collection (WoS CC), Scopus и Russian Science Citation Index (RSCI).

Помимо Перечня ВАК и «Белого списка» журналы могут входить в «ядро» Российского индекса научного цитирования (РИНЦ) и специальную коллекцию Russian Science Citation Index (RSCI)[6]. Публикации из таких журналов учитываются при оценке результатов научной деятельности.

Включение журналов в упомянутые базы данных и перечни происходит на разных основаниях. Так, при предварительном распределении журналов по категориям (ВАК) большое значение играют наукометрические показатели РИНЦ. Самым значимым из них является Science Index. А также в методике расчетов категорий используются, например, индекс Херфиндаля по организациям авторов, указывающий на степень разнообразия организаций авторов и равномерность распределения публикаций по ним, и индекс Джини, отражающий степень неравномерности распределения статей в журнале по числу их цитирований. При формировании списка RSCI Science Index имеет также ключевое значение в оценке качества журналов — на экспертизу для включения в RSCI принимаются журналы, где наряду с общественной оценкой учитывается их вхождение в 1-й квартиль рейтинга Science Index.

Мы обсудили с ведущими российскими экспертами в области оценки качества научных изданий ряд вопросов, связанных с развитием научной издательской деятельности. Нашими собеседниками стали Ольга Владимировна КИРИЛЛОВА, президент Ассоциации научных редакторов и издателей, и Павел Геннадьевич АРЕФЬЕВ, руководитель аналитического отдела «Научная электронная библиотека».

КОРР.: Какие проблемы повлек за собой уход международных наукометрических инструментов из национального поля оценки результатов научной деятельности?

П. АРЕФЬЕВ: Проблемы есть, но пока мы столкнулись лишь с их частью: покинула российское поле только компания Clarivate с платформой Web of Science (WoS). Система Scopus пока доступна до конца декабря. Проблемы возникают на всех уровнях и аспектах информационно-аналитической работы:

1. Поиск научной информации. Кто и что делает в разных предметных областях, какие и где формируются прорывные исследовательские фронты? Без поиска в WoS Core Collection или Scopus трудно ответить на эти вопросы.
2. Учет научных публикаций. Самое неприятное в этом деле, — необходимость вести постатейный учет, который фиксирует фактическое наличие заявленных статей в журналах, где они опубликованы. Так или иначе нужна собственная база данных с массивом документов, которые опубликованы в изданиях, индексируемых в WoS Core Collection или Scopus. В определенном смысле проблему может купировать база данных Crossref Metadata с 130 млн. записей с возможностью импортирования метаданных через Application Programming Interface (API). Но это вариант очень даже непростой: во-первых, в этой базе есть описания только публикаций, имеющих коды DOI, а во-вторых, качество записей в базе данных CrossRef оставляет желать много лучшего, например, в описаниях нет references (списков использованной литературы). Организация и упорядочивание данных (data curation) в такой базе, где исходные данные невысокого качества, чрезвычайно ресурсозатратны и по времени, и по людям.
3. Оценка научных результатов. Затруднен сравнительный анализ научных результатов по странам и организациям. Сравнительный анализ выполняется либо на массиве данных, экспортированных из WoS СС и/или Scopus, либо рассчитанные аналитические данные заимствуются из готовых выборок в приложениях InCites Benchmarking & Analytics (Clarivate) или SciVal (Elsevier). Без привлечения метаданных хорошего качества, что подразумевает метаданные от издателей, тут не обойтись.

Подготовка национального «белого списка» авторитетных журналов на уровне просто перечня журналов не спасает, так как сам список надо, как минимум, ежегодно обновлять. И при этом мы еще не затрагиваем проблему экспертной оценки качества журналов, входящих в «белый список».

О. КИРИЛЛОВА: При всей сложности ситуации, мы не можем не признать, что основой для оценки научной деятельности надо считать журналы, которые прошли экспертизу как предметную, так и на качество редакционно-издательской политики, а также на признание научным сообществом. Такими журналами, в первую очередь, являются журналы международных наукометрических баз данных. Если говорить о двух (как минимум) созданных, в будущем — в обоих случаях ранжированных списках («Белом списке» и «Перечне ВАК»), считаю, что вряд ли целесообразно вести такую параллельную, затратную по ведению и оценке работу только для того, чтобы решать разные задачи. Если списки ранжируются, то вполне можно иметь общий «белый список» журналов, который можно распределить на категории для решения этих «разных» задач. Эти журналы должны оцениваться не только по наукометрическим показателям и приблизительным экспертным оценкам, но и по определенным характеристикам журналов, дающим представление о качестве контента и об издательских политиках. Все журналы, которые претендуют как на включение в список для оценки результатов научной деятельности, так и для защит, должны иметь один подход и одни обязательные критерии. Должна быть единая экспертная онлайн-система, которая бы позволяла делать оценку и переоценку журналов. Причем наукометрические показатели не должны в этой системе быть основными (в различных рейтингах организаций эти показатели составляют примерно 20%), либо отношение к ним должно варьироваться в зависимости от предметной области журналов.

КОРР.: Что необходимо учитывать при введении различных списков значимых (высокорейтинговых, качественных) журналов?

П. АРЕФЬЕВ: В Перечне ВАК есть только список журналов, но нет базы данных. Актуальный перечень ВАК от 01.11.2022 года включает 2739 заглавий журналов в основном списке (перечень составлен в соответствии с так называемыми «необходимыми условиями» для включения в общий список авторитетных изданий ВАК). Но есть еще другой перечень ВАК — «Справочная информация об отечественных изданиях, которые входят в международные реферативные базы данных и системы цитирования и в соответствии с пунктом 5 правил формирования перечня рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук (далее — Перечень), утвержденных приказом Минобрнауки России от 12 декабря 2016 г. № 1586 (зарегистрирован Минюстом России 26 апреля 2017 г., регистрационный № 46507), с изменениями, внесенными приказом Минобрнауки России от 12 февраля 2018 г. № 99 (зарегистрирован Минюстом России 15 марта 2018 г., регистрационный № 50368), считаются включенными в Перечень (по состоянию на 12 апреля 2022 г.)». Этот перечень составлен в соответствии с так называемым «достаточными условиями» для включения в общий список авторитетных изданий ВАК, он насчитывает 1167 заглавий журналов, входящих в авторитетные международные реферативные базы (в т.ч. и WoS СС, и Scopus). Если убрать дублетность заглавий, то останется приблизительно 3600 изданий. В октябре 2021 года перечень ВАК включал, соответственно, 2612 и 1133 издания (более 3500 оригинальных заглавий). В 2020 году список ВАК насчитывал, соответственно, 2432 и 1024 заглавия, всего порядка 3350 заглавий. Всего в России издается порядка 11,5—11,7 тыс. научных и научно-технических журналов, из которых 6000 журналов заявляют о том, что они рецензируемые. Получается, что в России каждый третий научный или научно-технический журнал признан авторитетным и значимым. Но все ли издания при этом учтены и являются ли эти 2/3 рецензируемых изданий в России бесспорно авторитетными? Для сравнения, 32 издания RSCI не входят в перечень ВАК. При этом, например, индекс RSCI является и перечнем журналов, и полной укомплектованной библиографической базой данных по научным публикациям для поиска актуальной и ретроспективной научной информации, а также аналитической системой с возможностью расчетов почти полусотни наукометрических показателей для полнокровной оценки журналов (на основе РИНЦ).

О. КИРИЛЛОВА: На этот вопрос я уже ответила ранее. Но еще раз повторю: необходимо учитывать не только наукометрические показатели, включение в наукометрические БД и различные рейтинги, а также оценку предметными экспертами по критериям «новизна», «актуальность», «наличие рецензирования» (которые могут быть весьма субъективными), но и рассматривать в целом журнал с точки зрения ведения редакционно-издательской политики (точнее, политик), которые могут учитываться в определенной экспертной системе, решающей эти задачи.

Кроме того, что касается учитываемого в качестве критерия оценки индексирования в различных базах данных, ни в Белом списке, ни в Перечне ВАК не берется в расчет, что подходы к формированию тематических реферативных БД могут отличаться от требований, которые бы в результате определяли качество журнала в целом. Существует не так много реферативных БД, отвечающих определенным критериям качества. Например, из БД, включенных в п.5 Правил формирования Перечня ВАК, наряду со Scopus, WoS CC, PubMed (Medline), оцениваемых журнал в целом и обрабатывающих весь научный контент включенных в них изданий, есть реферативные тематические базы данных (CAS, GeoRef, MathSciNet, zbMATH), которые индексируют только часть статей из журналов, а не все издания целиком (в CAS (Chemical Abstracts) таких журналов, относящихся к «ядру» (core), всего 1,5 тыс., из остальных 8,5 тыс. или, может быть, сейчас уже большего числа, производится выборочное индексирование). При этом включенным в перечень для защит диссертаций учитывается издание полностью, независимо от того, попала статья соискателя в БД или нет, и вообще, относится ли статья соискателя по тематике к тематике этой БД или нет. Насколько корректно включать такие БД в п.5 Правил формирования, является вопросом и темой для обсуждения.

КОРР.: Какими Вы видите механизмы учета предметных областей в рейтингах значимых журналов?

П. АРЕФЬЕВ: Механизмом решения проблемы может стать предметизация на уровне публикации, а не журнала. Современный научный журнал — это сложный коммуникационный инструмент, его содержание очень трудно закрепить предметно за одной или даже двумя предметными категориями. Хорошему журналу всегда тесно в заданных репертуаром дисциплинарных рамках. Как технически организовать предметизацию публикаций — вручную или автоматически с применением методов и инструментов семантического анализа (например, с привлечением искусственного интеллекта и построением нейронных сетей), — это уже «игры разума», это детали.

О. КИРИЛЛОВА: Согласна с Павлом Геннадьевичем, все больше журналов можно отнести к междисциплинарным, все меньше — к монотематическим. Если говорить о предметизации полученных списков и рейтингов, то предлагаемый выше общий «Белый список» должен давать возможность самостоятельного выбора учеными журнала в зависимости от комплекса параметров и категории, позволяющей решить задачу, на которую направлена публикация, в т.ч. учитывать целевую читательскую и авторскую аудитории журнала. При этом, включение в информационную систему Белого списка нескольких классификаций, относящих журнал к той или иной предметной области, должно быть в помощь автору при таком выборе, а не ограничивающим его выбор. И, например, при защите диссертаций номенклатура ВАК может рассматриваться как одна из классификаций, а не как определяющая ограниченный список журналов для защиты.

КОРР.: Возвращаясь к вопросу о расчете показателей для оценки журналов, используемых при формировании российских рейтингов, что можно сказать об использовании, например, Индекса Херфиндаля применительно к актуальной ситуации?

П. АРЕФЬЕВ: Более чем 5-летний опыт показал, что правомерно и обоснованно использовать заимствованный из экономической науки индикатор монополизации отрасли — индекс Херфиндаля по организациям авторов и по цитирующим журналам. Этот индекс помогает определить уровень конкурентоспособности журнала. Оба варианта индекса весьма актуальны для оценки отечественных изданий особенно в случае тех журналов, которые ограничиваются публикациями одной-двух организаций или имеет место искусственно выстроенная система цитирования журналов: журнал А цитируется, в основном журналами B и C.

О. КИРИЛЛОВА: Как известно, в международных информационных системах географическое разнообразие / распределение редакторов и авторов при экспертизе журналов, а также определение степени самоцитирования для индексируемых журналов, являются очень важными критериями определения качества политики и перспектив признания журнала научным сообществом. Индекс Херфиндаля в РИНЦ можно считать индикатором выполнения этих критериев. Считаю его очень полезным.

КОРР.: Очерчивая перспективы развития RSCI, какими Вы их видите?

П. АРЕФЬЕВ: RSCI никогда не стоял на месте. Если в общих чертах и широкими мазками обозначить некоторые направления его развития, то можно выделить:

1. Восстановление экспертизы научных изданий через широкую экспертную панель — общественную экспертизу.
2. Расширение публикационного прейскуранта RSCI по типам научных изданий: к периодическим изданиям прибавятся продолжающиеся сериальные издания, книжные издания, например, монографии, сборники трудов конференций и иных научных мероприятий.
3. Оценка публикаций в составных изданиях.
4. Предметизация на уровне публикаций в составных изданиях.
5. Географическое расширение изданий за пределами РФ.
6. Автоматизация системы постоянного мониторинга и оценки качества изданий в RSCI.

Беседу провели:

Анна ШВЕДОВСКАЯ, к.психол.н., начальник управления информационными и издательскими проектами, ФГБОУ ВО «Московский государственный психолого-педагогический университет», anna.shvedovskaya@mgppu.ru;

Виктория ПОНОМАРЕВА, директор Фундаментальной библиотеки,
ФГБОУ ВО «Московский государственный психолого-педагогический университет», ponomarevavv@mgppu.ru

[1] Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук [Электронный ресурс]: по состоянию на 01.11.2022 г. // Высшая аттестационная комиссия при Министерстве науки и высшего образования Российской Федерации. URL: https://vak.minobrnauki.gov.ru/uploader/loader?type=19&name=91107547002&f=13963 (дата обращения: 25.11.2022).

[2] «Белый список» научных изданий [Электронный ресурс] // Российский центр научной информации. 2022. URL: https://journalrank.rcsi.science/ru/ (дата обращения: 25.11.2022).

[3] Об утверждении номенклатуры научных специальностей, по которым присуждаются ученые степени, и внесении изменения в Положение о совете по защите диссертаций на соискание ученой степени кандидата наук, на соискание ученой степени доктора наук, утвержденное приказом Министерства образования и науки Российской Федерации от 10 ноября 2017 г. N 1093 [Электронный ресурс]: приказ № 118 от 24 февраля 2021 // Высшая аттестационная комиссия при Министерстве науки и высшего образования Российской Федерации. URL: https://vak.minobrnauki.gov.ru/uploader/loader?type=1&name=91506173002&f=7892 (дата обращения: 25.11.2022).

[4] Высшая аттестационная комиссия при Минобрнауки России провела первое заседание в новом составе [Электронный ресурс] // Минобрнауки России. URL: https://minobrnauki.gov.ru/press-center/news/novosti-ministerstva/53151/ (дата обращения: 25.11.2022).

[5] Беляева С. «Белый список» научных журналов никого не удивил [Электронный ресурс] // Поиск. URL:https://poisknews.ru/magazine/togo-i-zhdali (дата обращения: 25.11.2022).

[6] Список журналов, входящих в базу данных RSCI [Электронный ресурс]: [от 27.07.2022] // Научная электронная библиотека eLibrary.ru. URL: https://journalrank.rcsi.science/ru/ (дата обращения: 25.11.2022).

Ссылка для цитирования:

Шведовская А.А., Пономарева В.В. Научные журналы считают «по белому». Интервью с экспертами [Электронный ресурс] // Электронный сборник статей портала психологических изданий PsyJournals.ru. 2022-1. № 2022-1. С. 1–5. URL: https://psyjournals.ru/pj/2022_1/Arefev_Kirillova.shtml