Информационные технологии зрительного эксперимента

В предлагаемой работе рассматриваются средства компьютерной поддержки для проведения автоматизированных психофизиологических экспериментов по исследованию механизмов зрительного восприятия. Рассматриваются вопросы синтеза и хранения изображенийстимулов, их предъявления наблюдателю и обработки ответов в программах, ориентированных на проведение экспериментов по изучению механизмов распознавания неполных изображений, предъявляемых в условиях маскировки или низкого контраста.

Одним из инструментов исследования зрительного восприятия являются психофизиологические эксперименты, организация которых сегодня невозможна без участия информационных технологий. В зрительных экспериментах в качестве стимулов используют цифровые изображения, хранящиеся в памяти ЭВМ и предъявляемые в эксперименте испытуемым на мониторе или экране с помощью проекционной аппаратуры. Зрительные стимулы получают дискретизацией изображений натуральных сцен или синтезируют методами цифровой обработки изображений (Чихман, 2003). В общем виде схема зрительного эксперимента включает следующие этапы: 1) предъявление наблюдателю последовательности изображений-стимулов с заданными параметрами; 2) регистрация ответов наблюдателя; 3) обработка ответов; 4) сопоставление параметров стимулов с ответами и выявление закономерностей. Исследования механизмов зрительного восприятия характеризуются частым изменением методики опыта, вида стимулов, их параметров, способа обработки ответных реакций наблюдателя. Поэтому важно обеспечить возможность гибкой и быстрой модификации используемых аппаратно-программных средств в соответствии с меняющимися условиями экспериментов.

Одним из инструментов исследования зрительного восприятия являются психофизиологические эксперименты, организация которых сегодня невозможна без участия информационных технологий. В зрительных экспериментах в качестве стимулов используют цифровые изображения, хранящиеся в памяти ЭВМ и предъявляемые в эксперименте испытуемым на мониторе или экране с помощью проекционной аппаратуры. Зрительные стимулы получают дискретизацией изображений натуральных сцен или синтезируют методами цифровой обработки изображений (Чихман, 2003). В общем виде схема зрительного эксперимента включает следующие этапы: 1) предъявление наблюдателю последовательности изображений-стимулов с заданными параметрами; 2) регистрация ответов наблюдателя; 3) обработка ответов; 4) сопоставление параметров стимулов с ответами и выявление закономерностей. Исследования механизмов зрительного восприятия характеризуются частым изменением методики опыта, вида стимулов, их параметров, способа обработки ответных реакций наблюдателя. Поэтому важно обеспечить возможность гибкой и быстрой модификации используемых аппаратно-программных средств в соответствии с меняющимися условиями экспериментов.

Разработанные нами программные модули реализованы с помощью средств Delphi в среде Windows, поскольку это широко распространенная операционная система, для которой разработаны многочисленные приложения, обеспечивающие удобство работы. В среде Windows взаимодействие программных и аппаратных модулей обеспечивают встроенные в систему обработчики событий. Однако Windows не является операционной системой реального времени, в любой момент компьютер под ее управлением может выполнять ряд служебных процессов. В результате, при необходимости точной синхронизации работы программы с оборудованием Работа поддержана грантом РФФИ 09-07-00336. могут возникать проблемы, так как в нужный момент времени компьютер может быть занят выполнением какого-либо служебного процесса. Кроме того, при разработке программ для психофизиологических экспериментов должны учитываться технические характеристики используемого оборудования, например, длительность предъявления тестового изображения на мониторе должна быть согласована с параметрами его кадровой развертки. При малом времени предъявления стимулов (десятки миллисекунд) недопустимо применение стандартного компонента «Timer», поэтому нами использованы обработчики интервалов времени DirectX.

Разработанные программные модули характеризуются одинаковой структурой ядра, которое обеспечивает формирование цифровых баз данных, хранящих информацию об испытуемых, тестовых изображениях, параметрах их предъявления и ответы испытуемых на эти предъявления. База данных результатов экспериментов содержит две таблицы. Первая таблица – это список испытуемых, вторая – результаты экспериментов и вспомогательная информация (дата опыта, время начала и окончания опыта, имя директории расположения стимулов). Результаты экспериментов представляются в виде матриц правильных ответов. Компоненты графического интерфейса программ (окна, кнопки) предоставляют возможность управления параметрами эксперимента, отображают информацию об испытуемых, сигналах, параметрах их предъявления, ответах испытуемых. Разработана структура таблицы цифровой базы изображений-стимулов, в полях которой хранятся ссылки на blob-объект (binary large object), т.е. изображение. Таблица содержит файлориентированные поля. Этим обеспечивается более быстрый поиск по базе, а затем извлечение изображений. Кроме того, такая структура препятствует возникновению «мертвых» зон в памяти («дырок») при удалении ненужных blob-полей. В процессе инсталляции программ устанавливается загрузочный модуль и необходимые для его работы библиотеки Delphi, BDE-модули поддержки цифровых баз данных.

На базе разработанного ядра реализован ряд программ, ориентированных на проведение психофизиологических экспериментов по исследованию механизмов зрительного восприятия неполных изображений, предъявляемых в условиях маскировки или низкого контраста.

Программа Show_Fragmented осуществляет предъявление фрагментированных контурных изображений (рисунок 1) в соответствии с заданными параметрами: временем предъявления, числом предъявлений стимула, величиной паузы между ответом испытуемого и предъявлением следующего стимула. Задача испытуемого – распознавание изображения и ввод ответа с помощью клавиатуры. Используется процедура вынужденного выбора.

Рис. 1. Примеры изображений-стимулов (вверху – набор исходных изображений, внизу – фрагментированное изображение трех размеров)

Интерфейс программы содержит кнопки запуска эксперимента, вывода на печать матрицы ответов, окна для выбора директорий хранения изображений-стимулов и результатов опыта, для протокола эксперимента и навигации по базе данных.

Программа Show_Fragmented_Halftone формирует стимулы с нужным контрастом, задавая яркость фона и контура изображения в пределах от 0 до 255. Набор файлов в bmp-формате, представляющих изображения в битовом режиме, трансформируется в набор файлов с изображениями в черно-белом режиме RGB (8 бит на канал), что позволяет задавать градации серого от 0 до 255. Интерфейс программы позволяет задавать время предъявления стимула, количество предъявлений, формировать протокол эксперимента.

Программа Show_Mask предъявляет фрагментированные контурные изображения в режиме прямой и обратной маскировок. Программа позволяет устанавливать времена предъявления стимулов и изображений-масок, интервалы задержек между сигналами, формировать матрицы ответов испытуемых. Измеряется и отображается время реакции испытуемого на предъявление очередного стимула. Графический интерфейс программы сконструирован подобно интерфейсу предыдущих программ. Имеется возможность выбора типа маски, ее параметров, управления уровнями фона стимула и маски.

Программа Show_Izbir_Vnim выполняет предъявление пары изображений – тестового стимула в центре экрана и цифры, предъявляемой в одном из четырех углов экрана. Положение цифры меняется случайно. Первой предъявляется цифра, вторым – стимул. Назначение цифры – перевод внимания из центра поля зрения, где предъявляется стимул, в другой участок (отвлечение внимания от стимула), или, наоборот, привлечение внимания к стимулу. Задача наблюдателя – опознать стимул и цифру. Параметры (время предъявления, пауза между стимулом и цифрой, контраст, положение цифры относительно центра) задаются с помощью интерфейса. Ответы испытуемого запоминаются как элементы трехмерного массива с координатами: (X) – положение цифры на экране, (Y) – цифра, (Z) – стимул. Элемент массива – двузначное число D . 10 + S, где D – воспринимаемая испытуемым цифра, S – воспринимаемый испытуемым стимул.

Программа Show_Kanizsa служит для измерения в эксперименте пространственной области интеграции в иллюзии Каниши. В качестве иллюзорной фигуры выбран квадрат, образованный четырьмя кругами с вырезанными четвертями (рисунок 2). Круги размещаются таким образом, чтобы их центры находились в вершинах виртуального квадрата. При первом предъявлении (и далее – при каждом нечетном) круги с секторами ориентированы случайно. При каждом втором (и далее – четном) – так, чтобы вырезанные сектора образовывали изображение виртуального квадрата. Задача испытуемого – назвать геометрические фигуры, которые он видит на экране. После ввода ответа происходит смещение кругов к центру экрана в соответствии с заданной величиной шага. В процессе выполнения программы фиксируются параметры, при которых испытуемый увидел иллюзорный квадрат.

Рис. 2. Работа программы Show_Kanizsa

Рис. 3. Примеры формирования изображений по методу Gollin-Test. Вверху – изображения объекта с разным поворотом в пространстве, внизу – изображения разного размера

Рис. 4. Примеры вейвлетных фрагментированных изображений

Ранее нами были реализованы компьютерные версии Голлин-теста (Chikhman, 2006), когда контурное изображение разбивается на фрагменты заданного размера, которые выводятся в случайном порядке, постепенно формируя полный контур объекта (рисунок 3).

Фиксируется пороговая площадь фрагментов, при которой испытуемый распознал изображение. Разработана программа Wavelet_Gollin_Test, использующая вейвлетное преобразование. В качестве элементов, из которых строится фрагментированное изображение, в программе используются разные вейвлеты (LoG, DOG – функции, элементы Габора, отрезки линий, подвергнутые фильтрации), что позволяет формировать изображение с определенными пространственно-частотными характеристиками. Программа позволяет варьировать дистанцию между элементами, их размер, задавать угловой размер формируемого изображения. В программе использован адаптивный алгоритм (Mallat, 1993), который дает компактное описание и позволяет достичь заданной точности аппроксимации при минимальном количестве элементов разложения. При подготовке эксперимента для каждого изображения формируется файл с его вейвлет-разложением. Затем программа Wavelet_Gollin_Test на основе вейвлет-разложения формирует тестовое изображение с заданным коэффициентом фрагментации (рисунок 4).

На рисунке 5 показан пример формирования фрагментированного изображения из фотографии, с использованием в качестве элементов изображений отрезков линий и краев, подвергнутых цифровой фильтрации.

Рис. 5. Формирование фрагментированного изображения на основе вейвлетов

Рис. 6. Результат работы программы ET_Viewer

При исследовании инвариантного восприятия неполных изображений интерес представляет информация об участках изображения, на которых испытуемый фиксировал взгляд в процессе распознавания. Нами реализована возможность синхронизации с системой дистанционного трекинга движений глаз iView X RED. Для обработки данных системы iView X RED разработана программа ET_Viewer, которая использует генерируемый системой iView X RED файл с записью направления взора испытуемого. На рисунке 6 представлен результат обработки данных одного из экспериментов.

Объектом для распознавания служил треугольник, составленный из цепочек вейвлетов (LoG-функций). Полное изображение треугольника формировалось из фрагментов в течение 31567 мсек. На рисунке показано изображение в момент времени 20000 мсек от начала измерения. На изображение фрагментированного контура наложена карта внимания, демонстрирующая области, на которых испытуемый фиксировал свой взор в процессе распознавания объекта. Каждая точка фиксации взора на карте внимания изображается пятном с яркостным профилем в виде гауссоиды.

С помощью разработанных программ проведены психофизиологические эксперименты, были получены новые сведения о работе механизмов зрительного восприятия неполных изображений (Чихман, 2009; Chikhman, 2006, 2007).

1. Чихман В. Н., Шелепин Ю. Е., Солнушкин С. Д. и др. Методические средства для исследования зрительного восприятия фрагментированных изображений // Российский физиологический журнал. 2003. Т. 89. № 10. С. 1313–1321.
2. Чихман В. Н., Бондарко В. М., Голузина А. Г., Данилова М. В., Солнушкин С. Д. Влияние маскировки на опознание контурных изображений // Сенсорные системы. 2009. Т. 23. № 1. С. 51–60.
3. Chikhman V., Shelepin Y., Foreman N., Merkuljev A., Pronin S. Incomplete figure perception and invisible masking // Perception. 2006. V. 35. Р. 1441–1457.
4. Chikhman V., Bondarko V., Danilova M., Solnushkin S. Contour images recognition // Perception. Supplement. 2007. V. 36. P. 99.
5. Mallat S. and Zhang Z. Matching Pursuit in a Time-Frequency Dictionary // IEEE Sig. Proc. 1993/ V. 41. P. 3397–3415.