Большие языковые модели (LLM) все активнее используются в научной практике. Однако до недавнего времени оставалось неясным, как именно они меняют научное письмо и публикационную динамику. Ответ на этот вопрос предложила команда исследователей из Корнеллского университета и Калифорнийского университета в Беркли. Их работа опубликована в журнале Science.
Авторы проанализировали более двух миллионов препринтов, размещённых в 2018–2024 годах на платформах arXiv, bioRxiv и SSRN. В качестве примера «человеческого» письма они использовали аннотации, опубликованные до 2023 года, а затем переписали их с помощью GPT-3.5, чтобы выявить характерные языковые признаки, свойственные текстам, подготовленным с участием языковых моделей. На основе этих различий оценивалась вероятность того, что более поздние аннотации создавались не без помощи LLM.
Исследователи подчёркивают, что такой метод не позволяет точно определить вклад ИИ в каждую отдельную работу. Тем не менее на уровне больших массивов данных становятся заметны устойчивые изменения. При появлении признаков использования языковых моделей авторы начинают публиковать больше препринтов: примерно на треть больше на arXiv, более чем на 50 % — на bioRxiv и почти на 60 % — на SSRN. Подготовка научной статьи требует значительных временных и когнитивных ресурсов, а для не-носителей английского языка — ещё и дополнительных языковых усилий. Использование LLM снижает эти барьеры и высвобождает время для работы над новыми публикациями. Особенно выраженный эффект зафиксирован у ученых с азиатскими именами, работающих в институтах Азии: в отдельных научных областях число препринтов у этой группы фактически удвоилось.
Авторы также показывают, что язык научных текстов перестал быть надёжным косвенным индикатором качества исследования. До широкого распространения LLM сложный академический стиль обычно отражал значительные усилия, вложенные в разработку аргументации и формулировку выводов. Теперь языковые модели воспроизводят внешние признаки такого письма независимо от уровня методологической проработки или научной новизны. В результате избыточная стилистическая сложность всё чаще сопровождает работы с более низкой вероятностью последующей публикации.
Отдельно отмечаются изменения в работе с источниками: тексты, подготовленные с участием языковых моделей, чаще ссылаются на более свежие и менее известные исследования, что может влиять на структуру научного цитирования и видимость отдельных направлений.
На фоне этих процессов начинает формироваться рынок инструментов, ориентированных не столько на генерацию, сколько на поиск, анализ и экспертизу текстов, созданных с участием ИИ. Наряду с международными решениями, такими как GPTZero и Originality.ai, развиваются и российские платформы. Так, компания Domate предлагает инструменты анализа научных и учебных текстов, включая оценку признаков генеративного письма и поддержку экспертной проверки.
В целом исследование показывает, что генеративные модели ускоряют и демократизируют научное письмо, но одновременно усложняют задачи рецензирования и оценки качества, смещая фокус с формы текста на необходимость более глубокой экспертизы содержания и методологии.
Материал подготовлен по мотивам публикаций канала Выше квартилей.