Эволюционные алгоритмы подбора запросов и проверки корректности ответов интеллектуальных ассистентов

 
Аудио генерируется искусственным интеллектом
 322 мин. чтения

Резюме

Созданы средства работы с интеллектуальными ассистентами (в частности, с ChatGPT и DeepSeek). Представлен новый математический аппарат, специальные алгоритмы и программные средства, позволяющие проверять корректность содержания ответов интеллектуального ассистента и генерировать запросы по аннотации (краткому описанию ответа на запрос). Фактически эти средства позволяют заменять промпт-инженера или, по крайней мере, автоматизировать его работу. Решение указанных задач опирается на эволюционные алгоритмы, обеспечивающие генерацию последовательности запросов, организованных по специальной логической схеме, и включающие как компонент квазигенетический алгоритм с операциями псевдокроссовера и псевдомутации, с последующим анализом ответов интеллектуального ассистента методами многомерного статистического анализа. Поиск приемлемого результата, в котором активно задействован сам интеллектуальный ассистент, представляет собой сходящийся к заданному решению итерационный процесс. Применяемый подход обоснован и проиллюстрирован применением для решения психологических задач. Статья предназначена для программистов и математиков, работающих с большими языковыми моделями.

Общая информация

Ключевые слова: ИИ-ассистент, большая языковая модель, искусственный интеллект, эволюционный алгоритм, квазигенетический алгоритм, промпт-инженер, промпт, многомерное шкалирование, психология

Рубрика издания: Анализ данных

Тип материала: научная статья

DOI: https://doi.org/10.17759/mda.2025150401

Поступила в редакцию 01.12.2025

Поступила после рецензирования 03.12.2025

Принята к публикации

Опубликована

Для цитаты: Куравский, Л.С., Одинцов, Д.А., Михайловский, М.А. (2025). Эволюционные алгоритмы подбора запросов и проверки корректности ответов интеллектуальных ассистентов. Моделирование и анализ данных, 15(4), 7–26. https://doi.org/10.17759/mda.2025150401

© Куравский Л.С., Одинцов Д.А., Михайловский М.А., 2025

Лицензия: CC BY-NC 4.0

Полный текст

Введение

В настоящее время количество пользователей интеллектуальных ассистентов (как сейчас принято говорить, «искусственного интеллекта» - ИИ или «нейронных сетей») растёт лавинообразно. Значительная часть таких пользователей, не имея ни математической подготовки, ни опыта программирования, декларирует себя продвинутыми специалистами по ИИ. В результате создаются проблемы, обусловленные попытками некорректного применения доступных интеллектуальных средств, сомнительной интерпретацией и практическим использованием полученных результатов, а также вводящими в заблуждение пафосными заявлениями без реального содержания.

Это делает актуальным создание средств поддержки пользователя при работе с интеллектуальными ассистентами (ИА), в первую очередь, актуальна разработка средств автоматизации работы промпт-инженеров, обеспечивающих подготовку запросов к ИА.

В целом, результат взаимодействия субъекта с ИА определяется двумя факторами:

  • семантическим содержанием запросов или других текстов, предъявляемых ИА;

  • интеллектуальными возможностями самого ИА, которые могут варьироваться в широких пределах. 

Неопределённость интерпретации семантического содержания запросов или других релевантных текстов, а также известная непредсказуемость реакции ИА на запросы затрудняют применение математического аппарата, требуя его существенной адаптации для нового контекста применения. В этой работе сделана одна из первых попыток такой адаптации. Для обеспечения компактного описания применяемых алгоритмов разработана специальная нотация.

Генерация правдоподобной, но неверной информации, называемая «галлюцинацией», пока является проблемой, сопровождающей практическое использование ИА. В частности, хорошо известно, что ИА может обосновать утверждения, взаимно отрицающие друг друга, если получит соответствующий запрос. Исключение составляют только строго обоснованные или очевидные наблюдаемые факты. Поэтому актуальным становится поиск инструментов, которые могут объективно оценивать корректность формулировок, вычисленных с помощью ИА.

Проблемы, рассмотренные в этой работе, стали особенно актуальными после 2020 года (Николенко и др., 2020), поэтому релевантных публикаций на тему автоматизации работы с ИА и устранения проблемы «галлюцинаций» относительно немного. Среди подходов, внушающих умеренный оптимизм, диалоговые методы, среди которых - «игра в дебаты» («Debate Game») (Irving и др., 2025) и генерация цепочек проверки (Chain-of-Verification Method) (Shehzaad и др., 2025), обеспечивающая устранение «галлюцинаций» путём запросов на обдумывание ИА собственных ответов и их самокоррекции. Однако эти подходы не опираются на значимый математический аппарат и безнадёжно далеки от полезного практического применения.

В этой работе представлены алгоритмы для решения двух задач:

  • генерации запросов, для которых аннотации (краткие описания ответов на запрос) наиболее близки к заданному описанию (решение обеспечивается эволюционным алгоритмом подбора запросов);

  • проверки корректности ответов интеллектуального ассистента (решение обеспечивается эволюционным алгоритмом проверки корректности ответов ИА, или «алгоритмом маятника»).

Основными компонентами указанных выше алгоритмов, определяющими вычисляемый результат, являются вновь разработанный квазигенетический алгоритм, обеспечивающий выполнение расширения множества запросов, и метод многомерного метрического шкалирования, строгое описание которого относительно редко встречается в публикациях. Квазигенетический алгоритм построен по аналогии с известным генетическим алгоритмом (Емельянов и др., 2003), применяемым для решения задач оптимизации и, в частности, для обучения нейронных сетей, с заменой операций кроссовера и мутации на выполняемые ИА операции псевдокроссовера и вариации, близкие по контексту применения, но принципиально другие по содержанию.

Основной принцип, реализуемый в применяемом подходе к решению задач, заключается в выполнении интеллектуальным ассистентом всех содержательных операций, связанных с извлечением количественных оценок из исследуемого материала, с последующим анализом этих оценок, применяя методы многомерного статистического анализа, технику проверки статистических гипотез и другие математические инструменты.

Инструментальные средства, работающие на основе приведённых далее алгоритмов, программно реализованы на базе OpenAI API. Эти средства в пилотном режиме работали с текстами психологического содержания, продемонстрировав убедительные результаты.

Наиболее очевидные перспективы практического применения представленные алгоритмы имеют там, где используются понятия со значительной вариативностью в интерпретации: в психологии, социологии, искусствоведении и других гуманитарных областях (Shoham и др., 2009; Николенко и др., 2020).

Статья предназначена для программистов, создающих средства для работы с большими языковыми моделями, и математиков, разрабатывающих методы практического использования возможностей искусственного интеллекта.

Применяемая нотация и основные понятия

Рис. 1

Рис. 1. Эволюционный алгоритм подбора запросов для ИА: операции над элементами метрических пространств

Fig. 1. Evolutionary prompt-selection algorithm for an intelligent assistant: operations on elements of metric spaces

X – множество запросов к ИА, Y – множество ответов ИА на запросы из множества X, Z – множество сгенерированных ИА аннотаций из множества Y. X, Y, Z – метрические пространства с квазирасстояниями π x , π y , π z (вычисленными для пар элементов пространств X, Y, Z, соответственно, которые вычисляются по запросам для ИА и представлены матрицами χ ( ) ) и евклидовыми расстояниями ρ x , ρ y , ρ z (вычисленными как результат многомерного шкалирования по матрицам попарных квазирасстояний и представленными матрицами ϑ ( ) (см. рис.1). Квазирасстояния π x , π y , π z могут не удовлетворять аксиомам расстояний (Колмогоров, Фомин, 2023), а расстояния ρ x , ρ y , ρ z этим аксиомам удовлетворяют. Таким образом, метрика пространств X, Y и Z определяется евклидовыми расстояниями, вычисляемыми в результате многомерного шкалирования квазирасстояний между нечисловыми объектами, определяемыми с помощью ИА. Многомерное шкалирование обеспечивает фильтрацию несогласованностей в оценках квазирасстояний и переход от квазирасстояний к согласованным между собой расстояниям (Borg, Groenen, 2005; Cox T, Cox M, 2001; Morrison, 1976; Rao, 1973).
Полагая возможности ИА по генерации запросов x X и ИА-отображений { φ ( x ) } x X и { ψ ( y ) } y Y фактически неограниченными, метрические пространства X, Y и Z можно рассматривать как полные.

X, Y и Z также используются как пространства шкалирования. Под расстояниями далее понимаются евклидовы расстояния. Квазирасстояния представляются значениями из числового отрезка [0;1] и вычисляются для заданных пар элементов метрических пространств X, Y и Z с помощью ИА как результаты запросов на сравнение элементов, входящих в заданные пары. Значение 1 соответствует полному совпадению содержания сравниваемых элементов, значение 0 – его полному несовпадению (очевидно, что результат сравнения неоднозначен и определяется особенностями применяемых ИА). В запросах к ИА явно указывается требование сделать сравнение предъявляемых элементов, выразив результат вещественным числом из интервала.

ИА-образы y = φ ( x ) и z = ψ ( y ) , где x X , y Y . Функции φ ( x ) и ψ ( y ) реализуются ИА на элементах пространств X и Y. Отображения y = φ ( x ) и z = ψ ( y ) обеспечивают вычисление, соответственно, ответа на запрос x и аннотации y с помощью ИА.
x = φ 1 ( y ) и y = ψ 1 ( z ) – прообразы z Z и y Y , которые определяются только для уже вычисленных образов (указанные прообразы сохраняются для уже вычисленных образов).

z + Z - заданная аннотация (краткое описание ответа на запрос).

z Z - текущее приближение к аннотации.

Операции в метрическом пространстве X:

τ X ( x ) – результат определения окрестности запроса x, составленный из элементов множества X ;
η ( M ) – результат вычисления медианы Кемени для заданного множества M X : η ( M ) = arg min x M r M ρ x ( x , r ) (т.е. определение усреднённого элемента этого множества);
χ ( M ) – результат вычисления матрицы π ij = π ( m i , m j ) , где m j , m k M , i , j = 1 , , n , попарных квазирасстояний для n элементов заданного множества M X с помощью ИА c сохранением уже сформированных взаимных расстояний для ранее помеченных элементов M;
χ ( M ) – результат вычисления матрицы π ij = π ( m i , m j ) , где m j , m k M , i , j = 1 , , n , попарных квазирасстояний для n элементов заданного множества M X с помощью ИА без сохранения уже сформированных взаимных расстояний для ранее помеченных элементов M;
μ i ( G ) – результат расширения множества G с матрицей попарных квазирасстояний π jk = π ( g j , g k ) , где g j , g k G , путём применения квазигенетического алгоритма на его i-й итерации ( i =1,2,…); элементы множества G – аналоги «хромосом» в классическом генетическом;
ϑ ( Π ( M ) ) – матрица взаимных расстояний ρ ij = ρ ( g i , g j ) , где g j , g k M , i , j = 1 , , n , для n элементов заданного множества M , полученная в результате многомерного шкалирования матрицы попарных квазирасстояний Π = π ij = π ( m i , m j ) , где m j , m k M ; многомерное шкалирование обеспечивает фильтрацию несогласованностей оценок взаимных квазирасстояний π x , π y , π z для пар элементов пространств X, Y, Z и переход от квазирасстояний к соответствующим им расстояниям ρ x , ρ y , ρ z ; после выполнения этой операции элементы, прошедшие многомерное шкалирование, помечаются с целью фиксации расстояний между ними на последующих шагах алгоритма;
x k = U ( x i , x j ) , x k = V ( x i , x j ) , x k = N ( x i ) – выполняемые с помощью ИА операции псевдокроссовера в пространстве X ( x i , x j , x k X ) , где U - обобщение содержания двух заданных текстов, V - выделение совпадающего содержания из двух заданных текстов, N - отрицание содержания заданного текста;
x k = δ ( x ) – операция псевдомутации (вариации) заданного текста;
X i X – подмножество пространства X , вычисленное на i-й итерации алгоритма генерации запросов;
γ ( X i ) – результат применения операций псевдокроссовера U , V и N , а также псевдомутации δ к множеству X i ;
ω ( X i ) = X i γ ( X i ) , φ ψ – расширение множества запросов X i путём объединения этого множества и дополнения γ ( X i ) , а также соответствующие ему расширения множеств Y i = φ ( X i ) и Z i = ψ ( Y i ) ;
X 0 - множество базовых запросов по заданной теме;

i++ и j++ - увеличение индексов i и j на единицу;

ε – малое положительное вещественное число;
α < 1 – положительное вещественное число;
I - порождающий запрос для алгоритма маятника;
t i - исследуемый ИА содержательный материал (текст или текст с иллюстрациями) на i-й итерации алгоритма маятника ( i =0,1,2,…);
T i + - множество содержательных материалов, согласующихся по содержанию с t 0 на i-й итерации алгоритма маятника ( i =0,1,2,…);
T i - множество содержательных материалов, отрицающих содержание t 0 на i-й итерации алгоритма маятника ( i =0,1,2,…);
ζ ( R ) - центроид объектов, взаимные расстояния между которыми представлены матрицей взаимных расстояний R (координаты центроида получаются путём усреднения координат указанных объектов вдоль каждой из осей пространства шкалирования);
Ω ( R ) – дисперсия расстояний объектов, взаимные расстояния между которыми представлены матрицей взаимных расстояний R , до центроида ζ ( R ) ;
N max – натуральное число.

Эволюционный алгоритм подбора запросов для ИА

Задача формулируется следующим образом.

Дано: X 0 - множество базовых запросов по заданной теме; z + - заданная аннотация.
Найти: x = arg min x
(т.е. найти запрос x , аннотация к ответу, на который наиболее близка к заданному описанию z + ).

Алгоритм решения:

  1. Задать множество базовых запросов X 0 . i = 0 . Y 0 = { φ ( x ) } x X 0 = φ ( X 0 ) и Z 0 = { ψ ( y ) } y Y 0 = ψ ( Y 0 ) для всех элементов множеств X 0 и Y 0 . z 0 = η ( Z 0 ) .
  2. Если i > 0 , то вычислить ИА-отображения Y i = { φ ( x ) } x X i = φ ( X i ) и Z i = { ψ ( y ) } y Y i = ψ ( Y i ) для всех элементов множеств X i и Y i .
  3. Найти медиану Кемени  x i = η ( X i ) и образы её отображений y i = φ ( x i ) и z i = ψ ( y i ) .
  4. Вычислить расширение  ω ( X i ) = μ i ( X i ) , применив квазигенетический алгоритм.
  5. Вычислить матрицы  χ , χ и χ .
  6. Вычислить  ϑ , ϑ и ϑ , пометив полученные взаимные расстояния между элементами множеств X i , Y i и Z i .
  7. Найти медиану Кемени  η .
  8. Определить окрестность запроса  τ X i , используя взаимные расстояния, определяемые матрицей ϑ ;
  9. Вычислить ИА-отображения  Y i = φ для всех элементов окрестности запроса τ X i .
  10. Проверить условие  ( z Z i ) ( z i Z i ) . Если условие выполнено, то z i + 1 = arg min z , удалить заданную относительную часть элементов Z d = и их прообразов X nd = φ 1 ( Y nd ) и Y nd = ψ 1 ( Z i { Z d ) и переход к шагу 11, иначе переход к шагу 4.
  11. Вычислить  x i + 1 = φ 1 ( ψ 1 ( z i + 1 ) ) .
  12. Если  ρ z , то x = x i + 1 и останов, иначе переход к шагу 13.
  13. X i + 1 = τ X ( x i + 1 ) .
  14. i++. 

  15. Переход к шагу 2.  

Квазигенетический алгоритм для выполнения расширения множества запросов при выполнении операций  μ i ( G )

  1. Задать множество базовых запросов X 0 . j=0.
  2. Проверить условие  ( x X j ) . Если условие выполнено, то переход к шагу 3, иначе останов.
  3. Квазигенетический отбор элементов множества  X j на итерации j по «правилу рулетки» с использованием в качестве функции качества расстояния ρ z , где x X j
  4. Формирование дополнения  γ ( X j ) к множеству X j путём применения к элементам множества X j операций псевдокроссовера U , V и N , а также псевдомутации δ .
  5. Объединение множества запросов  X j , соответствующего итерации j, и дополнения γ ( X j ) : ω ( X j ) = X j γ ( X j ) .
  6. j++.  
  7. Переход к шагу 2.  

 

Рассмотрим преобразование z i + 1 = Ξ ( z i ) , определяемое шагом 10 приведённого выше эволюционного алгоритма. Согласно условию выбора, указанному в описании шага 10, ρ z . Верно утверждение о том, что последовательность { z j } j сходится к z + в пространстве Z . Действительно, ρ z . Так как α < 1 , то величина ρ z при достаточно больших j сколь угодно мала при ρ z и равна нулю при ρ z . Поэтому, в метрике пространства Z, z + = lim j z j .
Приведённая версия эволюционного алгоритма продемонстрировала хорошую сходимость к искомому результату. Однако в малой окрестности заданного описания z + расстояние ρ z может сходиться не к нулю, а к малому положительному числу, что обусловлено ограниченной вариативность результатов псевдокроссовера, заданного операциями U , V и N . В этом случае следует либо расширить набор операций псевдокроссовера, повысив вариативность его результатов, либо заменить условие останова ρ z на шаге 12 эволюционного алгоритма на частный случай условия Коши для сходимости числовых последовательностей: ρ z ( z i + 1 , z i ) < ε .

Сходимость вычислительной процедуры определяется условием, указанным на шаге 10 её описания, результат проверки которого, в свою очередь, зависит от семантического содержания запросов, предъявляемых ИА, и интеллектуальных возможностей самого применяемого ИА.

Эволюционный алгоритм проверки корректности ответов ИА

Основной тезис: корректные по содержанию ответы на запросы ИА значимо лучше согласованы между собой, чем ответы, некорректные по содержанию.

Избегая философских дискуссий на тему «Что такое истина?», будем полагать, что утверждения, которые на практике подтверждаются результатами наблюдений, лучше согласуются друг с другом, чем их отрицания. Или, другими словами, применяется косвенная оценка корректности: полагается, что лучше согласованные по содержанию формулировки более правдоподобны, чем менее согласованные. Будем называть это утверждение тезисом о согласованности. Количественной мерой согласованности служит дисперсия ИА-образов ответов в метрическом пространстве. Значимость различий дисперсий устанавливается путём проверки стандартной нулевой гипотезы с помощью F-теста. Необходимый для анализа содержательный материал t 0 либо получается в ответ на порождающий запрос I , либо задаётся непосредственно.
  1. Получить необходимый для анализа содержательный материал  t 0 в ответ на порождающий запрос I или задать t 0 непосредственно. i=0. T 0 + = t 0 . T 0 = .
  2. i++.  
  3. Вычислить  t i = N ( t i 1 ) .
  4. Если i - чётное, то  T i + = T i 2 + t i и T i = T i 1 , иначе T i = T i 2 t i и T i + = T i 1 + .
  5. Вычислить  ϑ .
  6. Вычислить дисперсии  Ω + = Ω и Ω = Ω .
  7. При условии нормальности распределений расстояний до центроидов  ζ + = ζ и ζ = ζ , проверить нулевую гипотезу о равенстве дисперсий Ω + и Ω , используя F-тест для статистики Ω / Ω + , если Ω > Ω + , или для статистики Ω , если Ω < Ω + . Если нулевая гипотеза F-теста о равенстве дисперсий не отвергается и i < N max , то переход к шагу 2, иначе переход к шагу 8.
  8. Если нулевая гипотеза о равенстве дисперсий отвергнута, то, если  Ω > Ω + , сделать вывод о корректности исследуемого содержательного материала t 0 , или, если Ω < Ω + , сделать вывод о корректности отрицания исследуемого содержательного материала t 0 , иначе считать корректность указанного материала неустановленной.
Для множеств корректных и некорректных содержательных материалов с помощью -статистики Уилкса и ассоциированной с ней F -статистики (Borg, Groenen, 2005; Cox T, Cox M, 2001; Cramer,1999; Morrison, 1976; Rao, 1973) оценивается степень их дискриминации друг от друга. Если указанная дискриминация значима ( p < 0 ,05 для указанной статистики), то вывод о корректности исследуемого содержательного материала t 0 полагается надёжным, в противном случае следует провести дополнительный анализ содержательного материала t 0 .

Сходимость рассматриваемой вычислительной процедуры определяется условием, указанным на шаге 7 её описания, результат проверки которого, в свою очередь, зависит от семантического содержания порождающего запроса к ИА (или исходного исследуемого содержательного материала) и интеллектуальных возможностей самого применяемого ИА.

Рис. 2

Рис. 2. Алгоритм маятника: операции над элементами множества утверждений и множества отрицаний утверждений

Fig. 2. Pendulum algorithm: operations on elements of the set of statements and the set of their negations

В рамках процедуры генерации множеств T i + и T i в пространстве шкалирования, рассмотрим множество событий генерации утверждений и их отрицаний Γ = { Γ i } i = 1 Τ Γ . Будем говорить, что подмножества событий Ο { Ο i } i = 1 Τ Ο Γ и Φ { Φ i } i = 1 Τ Φ Γ закономерно связаны, если условные вероятности { P ( Ο i Φ 1 Φ Τ Φ ) } i = 1 Τ Ο достаточно велики, а именно: P ( Ο i | Φ 1 Φ Τ Φ ) 1 δ , где δ 1 .
Если предположить, что вероятности автономно рассматриваемых событий из подмножеств Ο и Φ для всех i удовлетворяют неравенствам P ( Ο i ) ε и P ( Φ i ) ε , где ε 1 , то вероятность последовательного появления подмножеств Φ и Ο равна i = 1 Τ Ο P ( Ο i Φ 1 Φ Τ Φ ) i = 1 Τ Φ P ( Φ i ) в случае наличия закономерной связи и i = 1 Τ Ο P ( Ο i ) i = 1 Τ Φ P ( Φ i ) в случае её отсутствия. Отношение второй из указанных вероятностей к первой, которое можно назвать индексом закономерности, есть величина не менее высокого порядка малости, чем ε Τ Ο .
Таким образом, справедливо следующее утверждение о балансе вероятностей: вероятность появления подмножеств событий Ο и Φ в случае наличия закономерной связи в ε Τ Ο раз превышает вероятность появления тех же подмножеств в случае её отсутствия.
Указанное утверждение может интерпретироваться следующим образом: при достаточно больших Τ Ο даже разовое проявление некоторой закономерности фактически свидетельствует о её наличии, причём значение Τ Ο может служить мерой надёжности такого вывода. Например, если Τ Ο равно 3, а ε равно 0,1, то вероятность наличия закономерной связи примерно в 10 3 раз превышает вероятность её отсутствия.

В качестве событий, в частности, может рассматриваться нахождение множеств точек, представляющих утверждения и их отрицания, в определённых областях пространства шкалирования или распределение определённых конфигураций точек, соответствующих исследуемым классам признаков, по заданным областям этого пространства (Kuravsky, 2014; Kuravsky, Greshnikov и др., 2024; Kuravsky, Orishchenko и др., 2025; Куравский, Юрьев и др., 2024).

Метод многомерного метрического шкалирования Торгерсона 

Поскольку изложение этого метода в приведённых выше терминах не представлено достаточно широко в публикациях, далее приводится описание одного из его распространённых вариантов - классического метода многомерного шкалирования Торгерсона (Borg, Groenen, 2025; Cox T., Cox M., 2001; Morrison, 1976). Этот метод решает задачу размещения множества точек в линейном евклидовом пространстве определённой размерности, представляющих элементы некоторого множества M , по заданной матрице попарных квазирасстояний между этими элементами.

Задача, не имеющая в общем случае единственного решения, заключается в том, чтобы по заданной матрице квазирасстояний π ij ( m i , m j ) , где m j , m k M , i , j = 1 , , n , для n элементов заданного множества M найти их координаты в линейном евклидовом пространстве размерности m < n , которым соответствует матрица евклидовых расстояний ρ ij ( m i , m j ) , где m j , m k M , i , j = 1 , , n , обеспечивающая наименьшее значение критерию S = i = 1 n j = 1 n | π ij ρ ij | 2 .

Алгоритм многомерного метрического шкалирования Торгерсона

  1. Вычислить матрицу квадратов квазирасстояний   D = d ij = π ij 2 ( m i , m j ) , где m j , m k M , i , j = 1 , , n .
  2. Вычислить матрицу взаимных скалярных произведений (матрицу Грама)   B = 1 2 JDJ , где J = I 1 n O O T - матрица двойного центрирования, I — единичная матрица размера n x n , O — вектор-столбец из n единиц, O T — вектор-строка из n единиц (умножение на матрицу J центрирует матрицу, вычитая из каждого её элемента среднее по строке и среднее по столбцу и добавляя общее среднее).
  3. Решить алгебраическую проблему собственных значений, вычислив спектральное разложение   B = E T ΛE , где Λ = diag ) - диагональная матрица собственных значений, упорядоченных по убыванию ( λ 1 λ 2 λ n 0 ), E – матрица соответствующих им собственных векторов, расположенных по столбцам.
  4. Вычислить -координатное представление   n элементов заданного множества M в линейном евклидовом пространстве размерности m < n , определив матрицу X = Λ 1 / 2 E m , где Λ = diag ) - диагональная матрица квадратных корней из m наибольших собственных значений матрицы B , упорядоченных по убыванию, E m - матрица первых m координат собственных векторов матрицы B , расположенных по столбцам (т.е., m первых срок матрицы E ; координаты n элементов множества M в матрице X размера m × n также расположены по столбцам).

Следует заметить, что:

  • Матрица Грама  B является симметрической и положительно полуопределенной, что позволяет представить её в виде B = X T X ; один из способов вычисления матрицы координат X рассмотрен выше;
  • Доказано, что приведённый алгоритм обеспечивает вычисление решения, обеспечивающего наименьшее значение критерия  S ;
  • Величина  S равна нулю при m = n 1 ;
  • Всли  Q - ортогональная матрица размера m × m и X - некоторое -координатное решение задачи, обеспечивающее наименьшее значение критерия S , то Q X – равноценное решение, обеспечивающее то же самое наименьшее значение критерия S .

Результаты

Генерация запроса, для которого аннотация наиболее близка к заданному описанию

В приведённых далее запросах сохранён индивидуальный стиль формулировок, подготовленных опытным промпт-инженером.

В качестве заданной аннотации z + использовался текст: «Подход в психологии, основанный на изучении наблюдаемого поведения и его количественного анализа через объективные методы измерения»
Множество X 0 , полученное в результате реального диалога с ИА, включало следующие базовые запросы.

Что такое бихевиоральный подход? 

Как изучается поведение в психологии? 

Какие методы используются для анализа поведения? 

Что такое объективное изучение поведения? 

Для решения задачи применялся ИА ChatGPT [gpt-4o-mini].

В результате итерационного процесса, реализующего эволюционный алгоритм, получен следующий запрос x , аннотация к ответу на который наиболее близка к заданному описанию z + : «В чём преимущества бихевиорализма по сравнению с другими психологическими школами?».
Соответствующий x ответ ИА на запрос ( φ ( x ) в используемой нотации) есть следующий текст: «Бихевиорализм – психологический подход, сосредоточенный на объективном изучении наблюдаемого поведения и игнорирующий внутренние психологические процессы. Он отличает себя использованием экспериментальных методов и акцентом на взаимодействии поведения с окружающей средой.». Выполнено 7 итераций процедуры. На рисунке 3 показана полученная в процессе вычислений зависимость расстояния ρ z от числа итераций.
Для реализации операций псевдокроссовера  U , V , N , псевдомутации δ и оценки квазирасстояний применялись следующие запросы к ИА.
Запрос U

«Создай новый запрос, объединяющий идеи из следующих двух запросов.»

Запрос V

«Создай КРАТКИЙ новый запрос, выделяя общие ключевые идеи из следующих двух запросов. Запрос должен быть лаконичным (не более 2-3 предложений).»

Запрос N

«Создай КРАТКИЙ новый запрос, дополняя первый запрос элементами из второго. Запрос должен быть лаконичным.»

Запрос δ

«Переформулируй следующий запрос КРАТКО, сохраняя его смысл»

Запрос Π

«Оцени семантическое расстояние между двумя текстами по шкале от 0.00 до 1.00 как меру различия их основных утверждений. Будь строгим: не занижай расстояния, учитывай различия в деталях, уровне абстракции, примерах и выводах. Если один текст даёт общее описание, а другой — конкретную теорию или пример, расстояние должно быть повышенным, даже при тематической близости. Верни только одно число с двумя знаками после запятой, без какого-либо дополнительного текста.»

Рис. 3
Рис. 3. Зависимость расстояния ρ z от числа итераций
Fig. 3. Distance ρ z  as a function of the number of iterations

Проверка корректности тезиса, используя алгоритм маятника

В приведённых далее запросах сохранён индивидуальный стиль формулировок, подготовленных опытным промпт-инженером.

В качестве исследуемого тезиса использовалась фраза «Культурно-историческая психология построена на основе марксистской теории».

Фрагмент протокола общения с ИА ChatGPT, содержащий запросы и первые элементы последовательности { t i } i содержательных ответов, приведен далее.
Запрос 1 (порождающий запрос I )

«Ты — эксперт в области философии, психологии и методологии науки. Сформулируй чёткий, аргументированный тезис H на заданную тему, который можно как подтверждать, так и опровергать; его правдоподобность далее будет проверяться по компактности кластеров подтверждающих и опровергающих аргументов в пространстве смыслов. Ответ должен иметь логическую структуру (тезис, обоснование, вывод), быть конкретным и лаконичным (3–5 содержательных предложений).»

Результат 1

Содержательный материал t 0 для анализа (получено ИА)

«Культурно-историческая психология построена на основе марксистской

теории.

Обоснование: Основоположник культурно-исторической психологии Лев

Выготский использует идеи Маркса о социальном контексте в развитии индивида,

подчеркивая, что психологические процессы формируются в результате социального

взаимодействия и исторических условий. Он акцентирует внимание на роли культуры

и языка в когнитивном развитии, что согласуется с марксистской концепцией о

влиятельности социальной среды на личность.

Вывод: таким образом, можно утверждать, что культурно-историческая психология во многом опирается на марксистские идеи, что подтверждается анализом ключевых понятий и принципов, заложенных в обоих подходах.»

Запрос 2 ( N ( t 0 ) ) — опровержение содержательного материала t 0

«Ты работаешь с цепочкой теоретических высказываний.

Сформулируй новое самодостаточное высказывание (1–2 предложения), которое по смыслу противоречит данному тексту, но остаётся в рамках исходной темы и той же предметной области, сохраняя ключевые понятия и изменяя только отношения между ними.

Не используй метаязык (типа “аргумент”, “тезис”, “это утверждение/текст”), не пересказывай и не цитируй исходный текст, не предлагай компромиссов “с одной стороны… с другой стороны”.

Верни только текст нового высказывания, без пояснений.»

Результат 2

t 1 : отрицание содержательного материала t 0 (получено ИА)

«Культурно-историческая психология не может быть сведена к марксистским идеям,

так как ее основные принципы, разработанные Львом Выготским, подчеркивают

уникальность культурных факторов и индивидуального развития, значительно

отличаясь от марксистского акцента на классовой борьбе и экономических условиях.

На самом деле, понимание когнитивного развития напрямую вытекает из специфики

культурного контекста, а не из марксистской теории о влиянии социальной среды.»

Запрос 3 ( N ( t 1 ) ) — опровержение содержательного материала t 1 (подтверждение содержательного материала t 0 )

Текст запроса 3 совпадает с текстом запроса 2.

Результат 3

t 2 : подтверждение содержательного материала t 0 (получено ИА)

«Культурно-историческая психология тесно связана с марксистскими идеями, поскольку акцент на социальных условиях и взаимодействии подчеркивает, что как индивидуальное развитие, так и когнитивные процессы невозможно понять без учета экономических и социальных факторов, описанных в марксизме. Таким образом, понимание этих процессов действительно зависит от анализа социальных структур и классовых отношений, важность которых существенно перекрывает роль уникальных культурных факторов.»

Запрос 4 ( N ( t 2 ) ) — опровержение содержательного материала t 2 (подтверждение содержательного материала t 1 )

Текст запроса 4 совпадает с текстом запроса 2.

Результат 4

t 3 : отрицание содержательного материала t 0 (получено ИА)

«Культурно-историческая психология может быть понята вне марксистской теории, так как она акцентирует внимание на уникальных культурных факторах, формах общения и языковых практиках, которые формируют когнитивные процессы независимо от экономических и социальных условий. Таким образом, развитие индивида и его психология могут быть исследованы без необходимости опираться на классовые отношения или социальные структуры, что подчеркивает разнообразие влияний на личность и стиль мышления.»

Попарные квазирасстояния для подтверждений и отрицаний содержательного материала t 0 , формирующие матрицу χ , вычислялись с помощью следующего запроса.

«Оцени семантическое расстояние между двумя текстами по шкале от 0.00 до 1.00 как меру различия их основных утверждений. Будь строгим: не занижай расстояния, учитывай различия в деталях, уровне абстракции, примерах и выводах. Если один текст даёт общее описание, а другой — конкретную теорию или пример, расстояние должно быть повышенным, даже при тематической близости. Верни только одно число с двумя знаками после запятой, без какого-либо дополнительного текста.»

Результаты многомерного шкалирования, полученные в виде матрицы взаимных расстояний ϑ при i = 8 и i =30, представлены в виде точечных диаграмм на рисунках 3 и 4. Полная отделимость множеств T i + и T i в пространстве шкалирования подтверждает корректность полученных результатов.
Рис. 4
 
Рис. 4. Результаты многомерного метрического шкалирования при i = 8
Fig. 4. Results of metric multidimensional scaling for i = 8
 
Рис. 5
Рис. 5. Результаты многомерного метрического шкалирования при i = 30
Fig. 5. Results of metric multidimensional scaling for i = 30
 
 
Для выборки, включающей 4 подтверждения и 4 отрицания содержательного материала   t 0 ( i = 8 , F-тест для статистики Ω / Ω + даёт значение 13,66 ( p < 0 ,01 , что, опираясь на принятый тезис о согласованности, позволяет сделать вывод о корректности исследуемого содержательного материала t 0 (т.е. культурно-историческая психология действительно построена на основе марксистской теории). Для выборки, включающей 15 подтверждений и 15 отрицаний содержательного материала t 0 ( i = 30 , F-тест для статистики Ω / Ω + даёт значение 6,17 ( p < 0,00001 , что приводит к тому же самому выводу. При уровне значимости p = 0 ,05 для проверки нулевой гипотезы, алгоритм маятника завершает свою работу уже на 8-й итерации. Полученный результат является семантически корректным.

Продолжительность вычислений на компьютере среднего быстродействия (базовая тактовая частота процессора – 2,70 ГГц) составило 71 секунду, средняя продолжительность отработки одного запроса к ИА - 2,34 сек.

Дополнительное наблюдение: сужение цепочки   { t i } к семантическому ядру противоречия

На этапе тестирования алгоритма маятника использовалась ранняя версия запроса, задающего операцию N ( t i ) . В данной формулировке модель получала инструкцию сформулировать «строгое опровержение» предыдущего текста без требований к сохранению структуры исходного тезиса и без ограничения на характер преобразования отношений между ключевыми понятиями, что привело к непредусмотренному явлению.
На ранних шагах (1–6 итерации) высказывания ИА непосредственно оперируют содержанием t 0 , варьируя аргументы в пользу и против связи культурно-исторической психологии с марксистской теорией.
Однако, начиная примерно с 15–18-й итерации, особенно отчётливо на конечных итерациях, цепочка { t i } демонстрирует стойкое сужение смыслового диапазона. Вместо обращения к широкому набору факторов (исторический материализм, роль культуры, специфика психологических механизмов), высказывания начинают организовываться вокруг одной устойчивой смысловой оппозиции:
  1. «Индивидуальный опыт и уникальные культурные формы рассматриваются как значимый индикатор когнитивного развития.» 

  2. «Индивидуальный опыт трактуется как субъективная основа, недостаточная без анализа социальных и структурных условий.» 

Тем самым операция N ( t i ) , определённая как генерация высказывания, противоречащего предыдущему, приводит не только к чередованию подтверждений и отрицаний, но и к выделению семантического аттрактора, под которым в данном контексте понимается пара утверждений, являющихся внутренним противоречием дискурса, усвоенного ИА.

Это наблюдение позволяет рассматривать алгоритм маятника как инструмент, автоматически выявляющий смысловую основу, вокруг которой происходит спор по заданной теме.

Заключение

  1. Результат взаимодействия с ИА определяется двумя факторами: семантическим содержанием запросов или других текстов, предъявляемых ИА, и интеллектуальными возможностями самого ИА, которые могут варьироваться в широких пределах.
  2. Основной принцип, реализуемый в применяемом подходе к решению задач, заключается в выполнении интеллектуальным ассистентом всех содержательных операций, связанных с извлечением количественных оценок из исследуемого материала, с последующим анализом этих оценок, применяя методы многомерного статистического анализа, технику проверки статистических гипотез и другие математические инструменты.
  3. Разработаны эволюционный алгоритм генерации запросов для ИА, аннотации ответов на которые наиболее близки к заданным описаниям, и эволюционный алгоритм проверки корректности ответов интеллектуального ассистента.  
  4. Основой эволюционного алгоритма генерации запросов является квазигенетический алгоритм, который обеспечивает выполнение расширения множества запросов. Квазигенетический алгоритм построен по аналогии с известным генетическим алгоритмом, применяемым для решения задач оптимизации и, в частности, для обучения нейронных сетей, с заменой операций кроссовера и мутации на выполняемые ИА операции псевдокроссовера и вариации, близкие по контексту применения, но принципиально другие по содержанию.  
  5. Алгоритм маятника позволяет выявлять смысловую основу, вокруг которой происходит спор по заданной теме.
  6. Для обеспечения компактного описания эволюционных алгоритмов разработана специальная нотация.
  7. Доказана сходимость эволюционного алгоритма генерации запросов при определённых условиях (представленных на шаге 10 описания алгоритма), результат проверки которых задаётся семантическим содержанием запросов, предъявляемых ИА, и интеллектуальными возможностями самого применяемого ИА.
  8. Сходимость эволюционного алгоритма проверки корректности ответов определяется условием, указанным на шаге 7 её описания, результат проверки которого зависит от семантического содержания порождающего запроса к ИА (или исходного исследуемого содержательного материала) и интеллектуальных возможностей самого применяемого ИА.
  9. Доказано, что при достаточно больших количествах событий даже разовое проявление некоторой закономерности фактически свидетельствует о её наличии. В качестве таких событий может рассматриваться нахождение множеств точек в определённых областях пространства шкалирования.
  10. Пилотное применение разработанных алгоритмов для решения психологических задач показало их эффективность и семантическую корректность.

Литература

  1. Емельянов В.В., Курейчик В.В., Курейчик В.М. Теория и практика эволюционного моделирования. - М: ФИЗМАТЛИТ, 2003, - 432 с.
    Emelianov V.V., Kureichik V.V., Kureichik V.M. Theory and practice of evolutionary research. - M: FIZMATLIT, 2003, - 432 p.
  2. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. – М.: URSS, 2023. -572 с.
    Kolmogorov A.N., Fomin S.V. Elements of the theory of functions and functional analysis. – M.: URSS, 2023. -572 p.
  3. Куравский Л.С., Юрьев Г.А., Михайловский М.А., Несимова А.О., Юрьева Н.Е., Поляков Б.Ю. Формирование навыков командной деятельности и их объективная количественная оценка на основе квантовых представлений // Экспериментальная психология. 2024. 17(2). C. 154-177. DOI: https://doi.org/10.17759/exppsy.2024170210.
    Kuravskiy L.S., Yuryev G.A., Mikhailovsky M.A., Nesimova A.O., Yuryeva N.E., Polyakov B.Yu. Formation of teamwork skills and their objective quantitative assessment based on quantum representations // Experimental Psychology. 2024. 17(2). P. 154-177. DOI: https://doi.org/10.17759/exppsy.2024170210.
  4. Николенко С.И., Кадурин А.А., Архангельская Е.О. Глубокое обучение.– СПб.: Питер, 2020. – 480 с.
    Nikolenko S.I., Kadurin A.A., Arkhangelskaya E.O. Deep learning. - St. Petersburg: Piter, 2020. - 480 p.
  5. Borg and P. J. F. Groenen, Modern Multidimensional Scaling Theory and Applications (Springer, New York, 2005).
  6. Cox T.F. and Cox M.A.A., Multidimensional Scaling, 2nd ed. (Chapman and Hall/CRC, Boca Raton, 2001).
  7. Cramer H., Mathematical Methods of Statistics. Princeton University Press, 1999. 575 pp.
  8. Irving G., Christiano P., Amodei D. AI safety via debate. – Open AI, 2025. 
  9. Kuravsky L.S. Quantum Representations and Their Applications in Diagnostics. - М.: Де Либри, 2024. - 128 с.
  10. Kuravsky L.S., Greshnikov I.I., Kozyrev A.D., Kosachevsky S.G., Frolova L.I., Zakharcheva A.A. A mathematical model for representing the related operator professional activities and its relevant diagnostic assessment based on the quantum representations, Lobachevskii J. Math., 45 (6), 2534-2551 (2024).
  11. Kuravsky L.S., Greshnikov I.I., Orishchenko V. A. Quantum Representation of the Civil Aircraft Pilot Activity. Lobachevskii Journal of Mathematics., 46 (6), pp.2609-2621, 2025.
  12. Morrison D. F., Multivariate Statistical Methods, 2nd ed. (McGraw-Hill, New York, 1976).
  13. Rao C.R., Linear Statistical Inference and its Applications (Wiley, Hoboken, 1973).
  14. Shehzaad Dhuliawala, Mojtaba Komeili, Jing Xu, Raileanu Roberta, Xian Li, Asli Celikyilmaz, Weston Jason. Chain-of-Verification Reduces Hallucination in Large Language Models. - Meta AI, 2025.
  15. Shoham Y., Leyton-Brown K. Algorithmic, Game-Theoretic, and Logical Foundations. — London: Cambridge University Press, 2009.

Информация об авторах

Лев Семенович Куравский, доктор технических наук, профессор, декан факультета информационных технологий, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Российская Федерация, ORCID: https://orcid.org/0000-0002-3375-8446, e-mail: l.s.kuravsky@gmail.com

Дмитрий Алексеевич Одинцов, студент, факультет информационных технологий, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Российская Федерация, ORCID: https://orcid.org/0009-0008-7082-700X, e-mail: dmitriyodintsov101@gmail.com

Михаил Александрович Михайловский, лаборант-исследователь молодежной лаборатории «Информационные технологии для психологической диагностики», Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), Москва, Российская Федерация, ORCID: https://orcid.org/0000-0002-7399-2800, e-mail: muxa172002@yandex.ru

Вклад авторов

Все авторы приняли участие в обсуждении результатов и согласовали окончательный текст рукописи.

Конфликт интересов

Авторы заявляют об отсутствии конфликта интересов.

Метрики

 Просмотров web

За все время: 7
В прошлом месяце: 0
В текущем месяце: 7

 Скачиваний PDF

За все время: 3
В прошлом месяце: 0
В текущем месяце: 3

 Всего

За все время: 10
В прошлом месяце: 0
В текущем месяце: 10