Современные технологии трансформации изображений в изучении восприятия человека по выражению его лица

1924

Аннотация

В данной работе рассматриваются вопросы применения современных компьютерных графических технологий преобразования изображений в психологических исследованиях, приводится описание различных методов компьютерной графики: морфинга, варпинга, прототипирования, карикатурирования, модели морфируемого синтеза 3D изображений, использующихся для трансформации признаков и конструирования различных выражений лица человека, а также психологических исследований, демонстрирующих создание и дальнейшее использование синтетических (искусственно созданных) выражений лица человека.

Общая информация

Ключевые слова: восприятие, компьютерная графика, морфинг изображений лица, варпинг изображений, прототипирование, карикатурирование

Рубрика издания: Методы исследований

Тематический сетевой сборник: 25 лет научных публикаций в журналах издательства МГППУ

Для цитаты: Дивеев Д.А., Хозе Е.Г. Современные технологии трансформации изображений в изучении восприятия человека по выражению его лица // Экспериментальная психология. 2009. Том 2. № 4. С. 101–110.

Полный текст

В настоящее время при изучении психологических особенностей человека по выра­жению его лица все чаще используются, особенно в экспериментальной психологии, ком­пьютерные графические технологии, программы для работы с изображениями. На наш взгляд, это обусловлено несколькими причинами. С одной стороны, компьютерные про­граммы позволяют оперировать исходным фотоизображением и создавать его новые моди­фикации, давая возможность экспериментатору синтезировать оригинальные выражения лица человека. Использование синтетических фотоизображений при изучении восприя­тия психологических особенностей человека по выражению его лица открывает широкие возможности перед исследователями. Например, изучение категориальности восприятия экспрессий осуществляется путем создания с помощью техники морфинга переходного ряда фотоизображений лица человека между двумя исходными, выраженными базовыми эмоциями (Жегалло, 2007; Etcoff, Magee,1992; Calder et al., 1996). Для изучения привле­кательности человека часто используется техника прототипирования (Вгаun еt аl, 2001; Thornhill, Gangestad, 1993). В современных исследованиях также довольно часто при­меняется процедура инверсии лица, как, впрочем, и создание композитного лица – лица, сконструированного из различных частей, когда верхняя половина принадлежит одному человеку, а нижняя – другому (Penton-Voak at al., 2006). С другой стороны, создание сти­мульного материала становится более доступным, открывает возможности для самостоя­тельного конструирования при помощи специальных программ необходимых для исследо­ваний изображений.

Целью данной статьи является обзор методов применяемой в современных психо­логических экспериментальных исследованиях компьютерной графики, на основе ко­торых разрабатываются оригинальные методики, позволяющие точнее и глубже изучать индивидуально-психологические особенности личности (Болдырев, 2006; Дивеев, 2009), эмоциональные состояния человека (Жегалло, 2007; Хозе, 2008), его привлекатель­ность и т. д.

Рис.1. Морфинг фотоизображений лица

Подпись:  По способам задания изображений компьютерную графику можно разделить на две категории: 1) двухмерную компьютерную графику (2D), которая классифицируется по типу представления графической информации и следующими из этого алгоритмами обра­ботки изображений; обычно ее разделяют на векторную, растровую и фрактальную (Пе­тров, Молочков, 2003); 2) трехмерную компьютерную графику (ЗD), которая оперирует с объектами в трехмерном пространстве; в этом случае результаты представляют собой объемную картинку. Этот вид графики широко используется в создании кинофильмов и компьютерных игр и представляет собой перспективное методическое направление, в осо­бенности в изучении восприятия выражений лица человека.

Морфинг изображений

Морфинг (morphing) – технология компьютерной графики, создающая плавный пе­реходный ряд изображений от одного объекта к другому. Сам термин происходит от слова metamorphosing – проведение преобразования, в котором один образ постепенно преобра­зуется в другой. Данный метод впервые был использован в 1990 году для создания спец-эффектов в киноиндустрии. С тех пор морфирование изображений получило широкое при­менение в различных областях деятельности человека. Существует несколько разновидно­стей морфинга, в том числе линейный, сегментный и взвешенный (Флеминг, Доббс, 2002).

Линейный морфинг. Процедура линейного морфинга позволяет из пары исходных 2D изображений А и В построить третье, обладающее в заданной степени свойствами каждого из исходных изображений. Для решения этой задачи на исходных изображениях опреде­ляется набор взаимно соответствующих ключевых точек, образующих триангуляционную сетку. В случае когда исходные изображения представляют собой лица, ключевые точки расставляются в соответствии с их анатомическим устройством, например, в соответствии с расположением глаз, бровей, рта, носа, ушей и т. д. (рис. 1).

На основе построенной сетки рассчитывается отображение, трансформирующее каж­дую ячейку сетки изображения А в соответствующую ячейку сетки изображения В и таким образом перестраивающее изображение А в изображение В, т. е. каждой точке изображе­ния А (х1,у1) можно поставить в соответствие точку изображения В (х2,y2). С помощью уравнений, описывающих процесс трансформации, рассчитывается позиция и яркость то­чек промежуточного изображения, соответствующих той или иной степени завершенности процесса. Если, например, процесс трансформации произведен на 30 %, то промежуточное изображение будет представлять собой морф, состоящий из 70 % А и 30 % В. В результате при достаточно подробном наборе ключевых точек процедура морфинга позволяет постро­ить плавный переходный ряд заданной длины между А и В, характеризующийся постоян­ной степенью визуального различия между соседними изображениями.

Современные исследования восприятия экспрессии лица (Жегалло, 2007; Calder et al., 1996) используют описанную выше базовую технику морфинга. В то же время данная процеду­ра обладает целым рядом дополнительных, представляющих определенный интерес возможно­стей, как, например, применение техники нелинейных сеток, когда ключевые точки вместо от­резков прямых соединяются кривыми Безье, что в результате позволит существенно улучшить качество морфинга при одновременном сокращении числа необходимых ключевых точек.

Взвешенный морфинг позволяет трансформировать одну базовую модель сразу в две морфинг-мишени. Главное достоинство этой технологии состоит в возможности осущест­вления синхронизации движения губ натурщика как с его речью, так и с мимикой лица в целом. Рассмотрим принципиальное отличие взвешенного морфинга от других его ви­дов. При морфинге базового объекта А на 50 % с помощью целевого объекта – плачущий рот (с взвешенным коэффициентом 20 %) получается верхняя модель колонки В (рис. 2). При обработке этого же базового объекта еще на 50 %, но с другим целевым объектом – смею­щийся рот (с коэффициентом 70 %) – получает­ся нижняя модель столбца В.

Подпись: 
 Рис. 2. Взвешенный морфинг
 Инструментарий взвешенного морфинга позволяет для каждого целевого объекта уста­навливать свои весовые коэффициенты или про­цент морфинга, создавая таким образом множе­ство вариантов мишеней на основе нескольких целевых объектов. Результат совмещения обоих «портретов» представлен в колонке С.

Если требуется создание каких-либо иных вариантов изображения того же лица, необхо­димо лишь изменить процентное соотношение «вкладов» разных морфинг-мишеней в оконча­тельное изображение: 20/80, 60/40 и т. д. Сумма процентов не должна превышать 100, хотя во многих программах данное условие можно нарушить и получить весьма интересные результаты. Таким образом, взвешенный морфинг позволяет создавать из одного базового объекта несколько измененных с последующим созданием необходимого выражения лица.

Варпинг изображений

Варпинг (warping) – технология варпинга аналогична сегментному морфингу и в каком-то смысле тождественна последнему, но отличается тем, что не связана жестко с на­бором целевых объектов (рот, глаза, нос и т. д.). При использовании варпинга, так же как и при морфинге, оператор (исследователь) формирует лишь опорные фигуры или задает ключевые точки, которые позволяют компьютеру выполнить правильный переход. Ис­пользуя варпинг (вaрп-морфинг), можно заданным образом изменить исходное изображе­ние, например, наложить на лицо не только прямую (сегментный морфинг), но и кривую улыбку, расширить или сузить глаза, изменить внутреннюю структуру частей лица непри­вычным способом и т. д. Технология варпинга дает возможность создавать оригинальный стимульный материал, не прибегая к кропотливым поискам подходящих моделей, напри­мер, моделировать лица с определенными признаками или конструировать химерические лица или необычные композитные лица.

В методике, направленной на изучение восприятия эмоциональных состояний чело­века (рис. 3), с использованием технологии варпинга трансформировались энцефаломе­трические индексы внутренней структуры лица: ширина глаз, высота глаз или величина лба, длина носа, высота рта или величина подбородка, которые и выступили в роли основ­ных варьируемых переменных (Хозе, 2008). Трансформации лиц обеспечивались соглас­но правилам преобразований схематических изображений в экспериментах Э. Брунсвика (Brunswik, 1956; Brunswik, Reiter, 1937). Согласно его исследованиям, графическая схема, максимально соответствующая экспрессии радости –F3, характеризуется высоким лбом, широким расположением глаз, средним расположением верхнего края носа и укороченным его кончиком, верхним расположением рта (см. рис. 3,a). Графическая схема, максимально соответствующая экспрессии грусти – T7, характеризуется низким лбом, узким расположе­нием глаз, удлиненным кончиком носа и низким расположением рта (см. рис. 3,b).

Рис. 3. Схематические лица, используемые в экспериментах Э. Брунсвика: радость – F3, грусть – T7.

Путем соответствующей трансформации базового фотоизображения нейтрального лица 041h из базы фотоэталонов (POFA) П. Экмана (рис. 4,a) были построены изображе­ния псевдорадости (см. рис. 4,b) и псевдогрусти (см. рис. 4,c). При построении изображений решено было ограничиться 70 % варпингом в силу того, что дальнейшие модификации при­давали бы лицам неестественные с конституциональной точки зрения соотношения частей.

Рис. 4. Стимульный материал метода исследования восприятия эмоциональных состояний человека. Варпинг внутренней структуры лица (a – исходное изображение, b – трансформация, порождающая впе­чатление радости, c – трансформация, порождающая впечатление грусти)

Полученный стимульный материал позволил решить ряд задач, в число которых входит определение роли структуры лица в порождении впечатлений об экспрессиях и об индивидуально-психологических особенностях их носителя (Барабанщиков, Жегалло, Хозе, 2009).

Прототипирование изображений

Прототипирование (prototyping) – технология компьютерной графики, создающая изображение с усредненными характеристиками из множества заданных объектов. Ито­говое изображение общего или усредненного типа лица выступает в качестве прототипа той или иной группы. Такими группами могут быть, например, все мужчины, или мужчины одной семьи, или представители разных этносов, или прототип одного человека, выделен­ный из разных снимков его лица, сделанных еще и в разные годы. Одним из первых, кто разрабатывал идею прототипа, был Френсис Гальтон. Во второй половине XIX столетия он делал фотоснимки и накладывал их друг на друга, чтобы получить усредненный тип лица (рис. 5,а). Сейчас мы можем достичь лучшего результата, используя компьютерную гра­фику (см. рис. 5,б). На рис. 5,в и 5,г изображены прототипы красоты мужского и женского лица, специально созданные из фотоизображений лиц тех натурщиков, которым испытуе­мые поставили высокий балл по шкале привлекательности (Вгаun еt аl., 2001).

Использование разных видов прототипов позволяет изучать различия средних харак­теристик общих групп, например, чем именно отличаются друг от друга лица мужчин и женщин.

 

 

Рис. 5. Прототипы лица: а – Гальтона, б – компьютерный, в – красоты мужской, г – красоты женской

Возможности компьютерной графики также позволяют, сохраняя индивидуальные свойства лица натурщика, изменять различные его характеристики, такие, как возраст, при­влекательность, маскулинность–феминность, «детскость лица» и многие другие. На рис. 6 изображено изменение этнической принадлежности натурщика с сохранением его индиви­дуальных отличий.

Карикатурирование изображений

Карикатурирование (caricaturing)– это вид преобразования, в котором преувеличи­ваются идиосинкразические черты лица, чтобы подчеркнуть характерные для этого чело­века отличительные признаки и таким образом сделать его лицо полностью не похожим на другие. Впервые компьютерную технологию создания карикатур применила Сьюзан Бреннан (Вrеnnan, 1985). Та же технология применяется и для создания прототипических лиц. На фотоизображение наносится набор ключевых точек, прорисовывающих основные структуры лица. Эти точки соединяют, и образуется форма лица, состоящая из линий. Если снять такой же набор точек с других лиц, а потом все их соединить, получится линейная форма усредненного типа лица. Чтобы создать карикатуру, необходимо исказить и преуве­личить расположение нетипичных структур лица. Эксперименты с карикатурными лицами кинозвезд показали, что карикатуры распознаются быстрее, чем нормальные лица. Кроме того, карикатурному лицу отдается предпочтение как наиболее похожему на его обладателя при выборе из двух альтернатив – карикатурного и естественного (Веnson, Perrett, 1991).

Если карикатуры легко распознаются, то антикарикатуры, наоборот, менее узнавае­мы (Rhode еt аl.,1987). Создавая антикарикатуры лица, исследователь приближает точки, отвечающие за его особенность, к точкам прототипического лица. Возможно создание изо­бражений антилица, т. е. лица, имеющего противоположные особенности по отношению к изначальному. Толстые губы преобразуются в тонкие, маленькие глаза – в большие и т. д. Так же можно конструировать «лунное» лицо и делать многие другие преобразования.

Трехмерная графика

Модель морфируемого синтеза 3D изображений. В последние 15 лет наблюдается существенный прогресс в создании интерактивных 3D изображений. В современной ком­пьютерной графике трехмерное изображение рассматривается как комбинация объемной полигональной сетки и натянутой на нее текстуры, описывающей цвет изображения. Это означает, что техники морфинга и в особенности варпинга естественным образом приме­нимы для создания трехмерных изображений. Использование достижений в разработках трехмерной графики представляет собой перспективное направление в психологических исследованиях человека по выражению его лица.

На рис. 7 показана процедура трехмерного варпинга лица голливудской кинозвезды Тома Хэнкса с помощью компьютерной модели морфируемого синтеза 3D изображений лица (Вlаnz, Vetter, 1999). Она позволяет из простого 2D изображения лица (1) создать его 3D форму (2) и текстуру (3). Форма и текстура прорисовываются на базе данных 3D лиц, созданной путем трехмерного лазерного сканирования, которое осуществляется следую­щим образом: человек, лицо которого будет сканироваться, садится на вращающийся стул, который находится перед пучком лазерного света. В лазерном световом потоке отражаются все подробности формы и текстуры лица человека и записываются таким образом, что лицо предстает в виде большого числа лазерных слепков-профилей. Опорные точки соседних профилей соединяют вместе с образованием каркасной модели с полигональной сеткой, которая графически представляет собой объемные криволинейные поверхности головы и лица человека. Каждой точке присваивается коэффициент, величина которого определяет степень ее влияния на часть поверхности, проходящей вблизи точки. От взаимного рас­положения точек и величины коэффициентов зависит форма и «гладкость» поверхности в целом. Конструируемое лицо содержит набор таких модельных коэффициентов, на основе которых путем поточечного сопоставления в векторном пространстве проб форм и текстур создаются новые естественно воспринимаемые лица. Модель лица, экстрагированную из 2D изображения, можно вращать или преобразовывать в необходимом ракурсе. Так, лицо Т. Хэнкса трансформировалось в полное (4) и худое (5), а также приобретало нахмуренное выражение (6) и веселое (7).

Рис. 7. Процедура варпинга в модели морфируемого синтеза 3D изображений лица, где 1 – исходное изображение, 2 – 3D форма лица, 3 – текстура лица, 4–7 – преобразованное лицо (4 – полное, 5 – худое, 6 – нахмуренное, 7 – улыбающееся)

Программное обеспечение

Основную долю рынка программных средств обработки трехмерной графики занимают три пакета: ЗD Studio Мах (компании Кinetiх), Softimage ЗD (компании Microsoft) и Мауа (консорциум известных компаний Аlias, Wavefront, ТD1). На сегодняшний день Мауа является наиболее передовым пакетом в классе средств создания и обработки трехмерной графики для персональных компьютеров. Что касается программ для работы с 2D изображениями, то их представлено немногим более десятка. Самые известные из них: Abrosoft Fantamorph, FunMorph, MorphMan, WinMorph, Morph Buster, Magic Morph, Morpheus, Morpher и др.

Использование трехмерных изображений головы человека в психологических исследо­ваниях крайне перспективно, но сдерживается рядом факторов. Техника, позволяющая осу­ществлять непосредственное ЗD сканирование, крайне дорога, а процедуры реконструкции ЗD моделей головы по фотоизображениям анфас и в профиль не позволяют достичь пор­третного сходства с моделью. Апробированные ЗD модели головы человека с базовыми экс­прессиями на сегодняшний день отсутствуют, в то время как процедуры наложения экспрессии на имеющуюся ЗD модель, реализованные в современных компьютерных программах (Роser, ЗD Ме Now), приводят к видимым анатомическим искажениям. Можно предположить, что дальнейший прогресс в области изучения восприятия выражений лица будет связан с исполь­зованием анатомически корректных ЗD моделей головы человека, включающих описание висцерального черепа, облегающих его мышечных и кожных покровов.

Заключение

Рассмотренные методы компьютерной графики значительно облегчают изучение психологических особенностей и состояний человека по выражению его лица. Моделиро­вание необходимых выражений лица позволяет выявлять новые закономерности процесса межличностного восприятия. С практической точки зрения развитие компьютерной гра­фики стимулирует появление более адекватных и удобных методов реконструкции лица, используемых, например, в криминалистике, а также обладающих возможностью манипу­ляций его частями, изменений соотношений между ними, масштабных уточнений с целью создания более реалистичного изображения лица.

Литература

  1. Барабанщиков В. А., Жегалло А. В., Хозе Е. Г. Психофизика восприятия экспрессий лица в микроинтервалах времени // Современная психофизика. М.: Изд-во «Институт психологии РАН», 2009. С. 189–216.
  2. Барабанщиков В. А., Хозе Е. Г. Восприятие экспрессий, порождаемых конфигуративными отношениями лица // Вестник РУДН. 2009. № 4 (в печ.).
  3. Болдырев А. О. Восприятие выражения целого и частично закрытого лица. Дисс. … канд. психол. наук. М.: ИП РАН, 2006.
  4. Дивеев Д. А. Роль формы лица в восприятии индивидуально-психологических характеристик человека. Дисс. … канд. психол. наук. М.: ИП РАН, 2009.
  5. Жегалло А. В. Идентификация эмоциональных состояний лица человека в микроинтеравалах времени. Дисс. … канд. психол. наук. М.: ИП РАН, 2007.
  6. Жегалло А. В., Хозе Е. Г. Особенности восприятия слабовыраженных экспрессий лица // Психологические и психоаналитические исследования. М.: Гнозис, 2009.
  7. Петров М. Н., Молочков В. П. Компьютерная графика (+CD). Учебник для вузов. СПб.: Питер, 2003. 736 с.
  8. Флеминг Б., Доббс Д. Методы анимации лица. Мимика и артикуляция. М.: ДМК, 2002. 336 с.
  9. Хозе Е. Г. Трансформация внутренней структуры лица как метод исследования восприятия эмоциональных состояний человека // Психология когнитивных процессов: Материалы 2-й Всероссийской научно-практической конференции. Смоленск: Универсум, 2008.
  10. Benson P. J., Perrett D. L. Perception and recognition of photographic quality facial caricatures: implications for the recognition of natural images // European Journal of Cognitive Psychology. 1991. V. 3. P. 105–135.
  11. Blanz V., Vetter T. Morphable Model for the Synthesis of 3D Faces // Computer Graphics Proc. SIGGRAPH’99. 1999. P. 187–194.
  12. Braun C., Gruendl M., Marberger C. & Scherber C. Beautycheck – Ursachen und Folgen von Attraktivitaet. 2001. Report (pdf-document). Available from: http://www.beautycheck.de/english/bericht/bericht.htm
  13. Brennan S. The caricature generator // Leonardo. 1985. Vol. 18. P. 170–178.
  14. Bruce V., Young A. In the eye of beholder.The science of face perception. N.Y.: Oxford University Press. 2000. 280 p.
  15. Brunswik E. Perception and representative design of psychological experiments. Berkley: University of California Press, 1956.
  16. Brunswik E., Reiter L. Eindrucks – Charaktuire schematisierter Gesichter // Zeitschrift fur Psychologie. 1937. V. 142.
  17. Calder A. J., Young A. W., Perrett D. I., Etcoff N. L., Roland D. Categorical Perception of Morfed Facial Expressions // Visual Cognition. 1996. Vol. 3(2). Р. 81–117.
  18. Etcoff N. L., Magee J. J. Categorical perception of facial expressions // Cognition. 1992. Vol. 44. P. 281–295.
  19. Penton-Voak Ian S., Pound N., Little A. C., Perrett D. I. Personality judgments from natural and composite facial images: more evidence for a «kernel of truth» in social perception // Social Cognition. 2006. Vol. 24(5). P. 607–640.
  20. Rhode G., Brennan S., Carey S. Identification and ratings of caricatures: implications for mental representation of faces // Cognitive Psychology. 1987. Vol. 19. P. 437–497.
  21. Thornhill R. & Gangestad S. W. Human facial beauty: Averageness, symmetry, and parasite resistance // Human Nature. 1993. V. 4. P. 237–269.

Информация об авторах

Дивеев Дмитрий Алексеевич, кандидат психологических наук, доцент кафедры общей психологии, Московский институт психоанализа (НОЧУ ВО «МИП»), Москва, Россия, ORCID: https://orcid.org/0000-0002-2826-4185, e-mail: diveev2@gmail.com

Хозе Евгений Геннадьевич, кандидат психологических наук, старший научный сотрудник, Центр экспериментальной психологии Института экспериментальной психологии, Московский государственный психолого-педагогический университет (ФГБОУ ВО МГППУ), заведующий лабораторией экспериментальной и практической психологии, доцент кафедры общей психологии, Московский институт психоанализа (НОЧУ МИП), Москва, Россия, ORCID: https://orcid.org/0000-0001-9355-1693, e-mail: house.yu@gmail.com

Метрики

Просмотров

Всего: 5007
В прошлом месяце: 16
В текущем месяце: 2

Скачиваний

Всего: 1924
В прошлом месяце: 5
В текущем месяце: 1