ИИ впервые смог прочитать мысли человека

В ходе нового исследовании ученые из GrapheneX-UTS Human-centric Artificial Intelligence Centre при Университете технологии Сиднея (UTS) создали компактную, бесконтактную систему, которая может расшифровывать мысли и превращать их в текст. Эта технология может быть полезна людям, которые не могут говорить из-за болезни или травмы, например, инсульта или паралича. Она также может способствовать бесшовному взаимодействию между людьми и машинами, например, управлению бионической рукой или роботом.


Исследование было отобрано в качестве фокусного доклада на конференции NeurIPS—2023, ежегодном мероприятии, на котором демонстрируется мировое лидерство в области искусственного интеллекта и машинного обучения в Новом Орлеане. Ведущим разработчиком является Почетный профессор Ци-Тэ Лин, директор GrapheneX-UTS HAI Centre, а первым автором — Ицюн Дуан и аспирант Цзиньчжоу Чжоу с факультета инженерии и информационных технологий UTS.

Участники исследования молча читали фрагменты текста, надев шапочку, которая измеряла электрическую активность мозга через кожу головы с помощью электроэнцефалограммы (ЭЭГ).

ЭЭГ-волны разбиваются на отдельные блоки, которые отражают определенные свойства и модели мозга человека. Это делает модель искусственного интеллекта под названием DeWave, разработанная учеными. DeWave преобразует сигналы ЭЭГ в слова и предложения, основываясь на большом объеме данных ЭЭГ.


— Ци-Тэ Лин.

Раньше технология перевода сигналов мозга на язык требовала хирургического вмешательства с имплантацией электродов в мозг, такой как Neuralink Илона Маска, или сканирования в МРТ-аппарате, который достаточно большой, дорогой и сложный в использовании. Эти методы также сталкиваются с проблемами с преобразованием сигналов мозга в отдельные слова без дополнительных средств, таких как слежение за глазами, что ограничивает практическое применение этих систем. Новая технология может работать как с отслеживанием глаз, так и без него.

Исследование UTS проводилось с участием 29 участников, что означает, что оно, вероятно, более надежно и адаптивно, чем предыдущие технологии декодирования, которые тестировались только на одном или двух людях, поскольку сигналы ЭЭГ разнятся в индивидуальном порядке.

Использование сигналов ЭЭГ, полученных через шапочку, а не через вживленные в мозг электроды, означает, что сигнал менее упорядочен. Однако, в контексте преобразования ЭЭГ, исследование демонстрирует самую современную производительность, превышающую предыдущие показатели.


— Ицюн Дуан.

Текущий показатель точности перевода составляет около 40% по метрике BLEU-1. Показатель BLEU — это число от нуля до единицы, которое измеряет степень сходства машинного перевода с набором качественных эталонных переводов. Исследователи надеются, что результат улучшится до уровня, сравнимого с традиционными системами языкового перевода или распознавания речи — не менее 90% точности.

Исследование является продолжением предыдущей технологии интерфейса «мозг-компьютер», разработанной UTS совместно с Силами обороны Австралии, которая использует мозговые волны для управления четвероногим роботом.