Точная интерпретация выражаемых людьми эмоций долгое время оставалась сложной задачей из-за неоднозначности настроений и переживаний, не вполне понятных даже внимательным наблюдателям. Для решения этой проблемы исследователи изобрели систему распознавания, которая объединила голосовые и тактильные данные.
В основе технологии — система персонализированного интерфейса для лица (PSiFI). Первый в своём роде физический датчик двойного назначения воспринимает деформации кожи лица и вибрации голоса. Тем самым он позволяет одновременно считывать вербальные и невербальные данные о выражаемых эмоциях. Система полностью интегрирована с беспроводной передачей и обработкой данных для мгновенного распознавания того, что чувствует человек.
Профессор Ким прокомментировал, что PSiFI настраиваема для разных лиц, что важно, так как физическое оборудование должно достаточно плотно прилегать к коже. Изобретатели использовали прозрачный проводник для электродов, заряжаемых фрикционным способом, то есть от трения. А также с использованием техники многоугольной съёмки они создали персонализированную маску, в которой сочетаются эластичность и прозрачность.
Благодаря алгоритмам машинного обучения южнокорейская технология эффективна, даже когда люди носят медицинские маски. А то, что метод основан на феномене «зарядки от трения», избавляет систему от внешнего источника питания.
Учёные провели эксперименты по распознаванию эмоций в режиме реального времени. При этом они собирали данные о деформации лицевых мышц и модуляциях голоса. Система продемонстрировала высокую точность при минимальной предварительной настройке. Устройство удобно носить, так как оно беспроводное и подходит к практически любому лицу.
На первый взгляд сложно понять, для чего создавать накладку на лица только для того, чтобы понять, что её носители почувствовали в той или иной ситуации. Первый автор исследования Джин Пе Ли объяснил необходимость изобретения тем, что оно открывает возможности для будущих портативных устройств и цифровых сервисов, основанных на эмоциях. Способность системы идентифицировать индивидуальные чувства в различных ситуациях позволяет выдавать рекомендации о музыке, фильмах и книгах, отметили её авторы.
Систему успешно опробовали в приложении с цифровым консьержем в среде виртуальной реальности (VR). Программа предназначена, чтобы предоставлять индивидуальные услуги на основе живых реакций пользователей.
От себя можем предположить, что распознавание и копирование человеческих эмоций помогло бы созданию реалистичной компьютерной графики, для мультипликации и так далее.
