Исследование было отобрано в качестве фокусного доклада на конференции NeurIPS—2023, ежегодном мероприятии, на котором демонстрируется мировое лидерство в области искусственного интеллекта и машинного обучения в Новом Орлеане. Ведущим разработчиком является Почетный профессор Ци-Тэ Лин, директор GrapheneX-UTS HAI Centre, а первым автором — Ицюн Дуан и аспирант Цзиньчжоу Чжоу с факультета инженерии и информационных технологий UTS.
Участники исследования молча читали фрагменты текста, надев шапочку, которая измеряла электрическую активность мозга через кожу головы с помощью электроэнцефалограммы (ЭЭГ).
ЭЭГ-волны разбиваются на отдельные блоки, которые отражают определенные свойства и модели мозга человека. Это делает модель искусственного интеллекта под названием DeWave, разработанная учеными. DeWave преобразует сигналы ЭЭГ в слова и предложения, основываясь на большом объеме данных ЭЭГ.
Исследование представляет собой новшество в области прямого преобразования необработанных ЭЭГ-волн в язык, являясь значительным прорывом в сфере. Оно впервые применяет дискретные методы кодирования в процесс перевода сигналов мозга в текст, представляя инновационный подход к нейронному декодированию. Интеграция с большими языковыми моделями также открывает новые возможности в нейронауке и искусственном интеллекте
— Ци-Тэ Лин.
Раньше технология перевода сигналов мозга на язык требовала хирургического вмешательства с имплантацией электродов в мозг, такой как Neuralink Илона Маска, или сканирования в МРТ-аппарате, который достаточно большой, дорогой и сложный в использовании. Эти методы также сталкиваются с проблемами с преобразованием сигналов мозга в отдельные слова без дополнительных средств, таких как слежение за глазами, что ограничивает практическое применение этих систем. Новая технология может работать как с отслеживанием глаз, так и без него.
Исследование UTS проводилось с участием 29 участников, что означает, что оно, вероятно, более надежно и адаптивно, чем предыдущие технологии декодирования, которые тестировались только на одном или двух людях, поскольку сигналы ЭЭГ разнятся в индивидуальном порядке.
Использование сигналов ЭЭГ, полученных через шапочку, а не через вживленные в мозг электроды, означает, что сигнал менее упорядочен. Однако, в контексте преобразования ЭЭГ, исследование демонстрирует самую современную производительность, превышающую предыдущие показатели.
Модель лучше справляется с глаголами, чем с существительными. Однако, когда дело доходит до существительных, мы видим тенденцию к синонимическим парам вместо точных переводов, например, «человек» вместо «автор». Мы полагаем, что это происходит потому, что при обработке мозгом этих слов, слова, имеющие семантическую близость, могут производить схожие паттерны мозговых волн. Несмотря на трудности, наша модель дает значительные результаты, строя ключевые слова и формируя похожую структуру предложений
— Ицюн Дуан.
Текущий показатель точности перевода составляет около 40% по метрике BLEU-1. Показатель BLEU — это число от нуля до единицы, которое измеряет степень сходства машинного перевода с набором качественных эталонных переводов. Исследователи надеются, что результат улучшится до уровня, сравнимого с традиционными системами языкового перевода или распознавания речи — не менее 90% точности.
Исследование является продолжением предыдущей технологии интерфейса «мозг-компьютер», разработанной UTS совместно с Силами обороны Австралии, которая использует мозговые волны для управления четвероногим роботом.
