Стохастическая роевая кластеризация в задачах автоматизированной обработки данных, представленных на естественном языке ³²⁷

Рассматривается метод обработки данных, представленных на естественном языке, использующий стохастический алгоритм нелинейного снижения размерности многомерных данных, учитывающий дискриминирующую силу найденного решения для заданных значений категориальной переменной, связанной с каждым наблюдением. Для поиска характеристик, обеспечивающих наилучшее разделение наблюдений в смысле заданного функционала качества, предлагается использовать численную процедуру, основанную на методе оптимизации, известном как «Метод роя частиц». В основе оценки качества решения лежит чистота кластеров, полученных в найденном пространстве методом k-средних, либо с использованием самоорганизующихся карт Кохонена.

Ключевые слова: обработка данных, представленных на естественном языке, комбинаторная оптимизация, оптимизация методом роя частиц, нелинейное снижение размерности

Рубрика: Математическая психология

Тип: научная статья

DOI: https://doi.org/10.17759/exppsy.2018110301

Автоматизация психолого-педагогических измерений приобрела широкое распространение с развитием вычислительной техники; очевидным преимуществом компьютерного тестирования перед традиционным является возможность проведения более масштабных выборочных исследований. Параллельно с внедрением компьютеризированных тестовых методик велась активная работа по формированию методологии проектирования тестов с вопросами закрытого типа, был разработан целый ряд концепций (Куравский, 2011; Тюменева, 2007), позволяющих повысить достоверность результатов тестирования, за счет применения оригинальных математических моделей процесса тестирования (Куравский, 2017; Куравский, 2012).

1. Гладков Л.А. Биоинспирированные методы в оптимизации: монография / Л. А.Гладков [и др.]. М.: Физматлит, 2009. 384 с.
2. Куравский Л.С., Артеменков С.Л., Юрьев Г.А., Григоренко Е.Л. Новый подход к компьютеризированному адаптивному тестированию // Экспериментальная психология. 2017. Т. 10. № 3. С. 33—45. doi:10.17759/exppsy.2017100303
3. Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Математические основы нового подхода к построению процедур тестирования // Экспериментальная психология. 2012. Т. 5. № 4. С. 75—98.
4. Куравский Л.С., Мармалюк П.А., Алхимов В.И., Юрьев Г.А. Новый подход к построению интеллектуальных и компетентностных тестов // Моделирование и анализ данных. 2013. № 1. С. 4—28.
5. Куравский Л.С., Юрьев Г.А. Probabilistic artifact filtration in adaptive testing // Моделирование и анализ данных. 2012. № 1. С. 70—81.
6. Куравский Л.С., Юрьев Г.А. Использование марковских моделей при обработке результатов тестирования // Вопросы психологии. 2011. № 2. С. 98—107.
7. Куравский Л.С., Мармалюк П.А., Юрьев Г.А., Думин П.Н. Численные методы идентификации марковских процессов с дискретными состояниями и непрерывным временем // Матем. моделирование. 2017. Том 29. № 5. С. 133—146.
8. Куравский Л.С., Баранов С.Н. Компьютерное моделирование и анализ данных: Конспекты лекций и упражнения: учеб. Пособие. М.: РУСАВИА, 2012. 18 с.
9. Тюменева Ю.А. Психологическое измерение. М.: Аспект-Пресс, 2007.
10. Формалев В.Ф., Ревизников Д.Л. Численные методы, Физматлит. М., 2004. 400 с.
11. Aviation safety network [Электронный ресурс]. — URL: https://aviation-safety.net/database/ (дата обращения: 06.12.2017).
12. Kennedy J., Eberhart R. Swarm Intelligence // Morgan Kaufmann Publishers, Inc. San Francisco, CA, 2001.
13. Kennedy J., Eberhart R. Particle Swarm Optimization // IEEE International Conference on Neural Networks (Perth, Australia). IEEE Service Center, Piscataway. NJ, 1995. P. 1942—1948.
14. Khanesar M.A. Novel Binary Particle Swarm Optimization, Particle Swarm Optimization [Электронный ресурс] / M.A. Khanesar, H. Tavakoli, M. Teshnehlab, M.A. Shoorehdeli, A. Lazinica (Ed.) // InTech, DOI: 10.5772/6738. 2009. URL: https://www.intechopen.com/books/particle_swarm_optimization/novel_binary_particle_swarm_optimization (дата обращения: 06.12.2017).
15. Swamy N. Cluster Purity Visualizer [Электронный ресурс] / N. Swamy. 2016. URL: https://bl.ocks. org/nswamy14/e28ec2c438e9e8bd302f (дата обращения: 06.12.2017).
16. Eberhart R., Kennedy J. A New Optimizer Using Particles Swarm Theory // Proc. Sixth International Symposium on MicroMachine and Human Science (Nagoya, Japan). NJ, 1995. IEEE Service Center, Piscataway. P. 39—43.
17. Mikolov T., Yih W., Zweig G. Linguistic Regularities in Continuous Space Word Representations // In Proceedings of NAACL HLT. 2013.