Исследование, опубликованное в журнале Nature Neuroscience («Природа-Нейробилогия»), возглавляли Джерри Тан, докторант по информатике, и Алекс Хут, доцент кафедры неврологии и компьютерных наук в Калифорнийском университете в Остине. Работа частично основана на модели, аналогичной используемым ИИ в ChatGPT от Open AI и Bard от Google.
В отличие от других систем расшифровки, эта не требует от испытуемых наличия хирургических имплантатов. Участникам также не нужно использовать только слова из установленного списка. Мозговая активность измеряется с помощью МРТ-сканера после тщательной подготовки. В ходе подготовки человек часами прослушивает записи в сканере. Затем, когда испытуемый готов к расшифровке его мыслей, прослушивание им новой истории или представление того, о чём он рассказывает, позволяет машине генерировать соответствующий текст на основе одной только мозговой активности.
Для метода без хирургического вмешательства это настоящий прорыв по сравнению с тем, что делалось раньше, когда выходили лишь отдельные слова или короткие предложения. Мы получили модель для декодирования непрерывного языка со сложными идеями в течение длительного времени
— Алекс Хут, доцент кафедры неврологии и компьютерных наук.
В результате получается не дословная расшифровка. Ведь исследователи разработали систему, чтобы улавливать суть мыслей. Примерно в половине случаев, когда декодер обучен отслеживать мозговую активность, машина выдаёт текст, который близко, а иногда и в точности, соответствует значениям исходных слов.
Например, в экспериментах участники слушали слова: «У меня ещё нет водительских прав», а выдавали через мысли «Она ещё даже не начала учиться водить». Другой пример: «Я не знал, кричать ли мне, плакать или убегать. Вместо этого я сказал: „Оставь меня в покое!“». Система расшифровала это так: «Начал кричать и плакать, а потом она просто сказала: „Я же сказала тебе оставить меня в покое“».
Декодирование работало только с участниками эксперимента, которые добровольно согласились обучать декодер. Результаты для людей, на которых дешифровщик не был обучен, были непонятными. И если испытуемые оказывали сопротивление — например, повторяя в голове иные мысли, — результаты были также непригодны.
В дополнение к тому, что испытуемые слушали или обдумывали истории, исследователи попросили их посмотреть четыре коротких видеоролика без звука во время пребывания в МРТ-сканере. Семантический декодер смог использовать их мозговую активность для точного описания определённых событий из видеороликов.
Система пока не готова для применения вне лаборатории из-за особенностей работы с аппаратом МРТ. Но исследователи считают, что концепцию можно перенести на другие, более портативные системы визуализации мозга. Например, перспективна функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS) — это метод оптического мониторинга мозга, который использует спектроскопию ближнего инфракрасного диапазона с целью визуализации.
fNIRS измеряет, где в мозге больше или меньше кровотока в разные моменты времени, что оказалось точно таким же сигналом, который измеряет МРТ. Итак, новый точный подход должен быть переведён на fNIRS, полагают учёные, признавая, что точность при использовании fNIRS была бы ниже.
Джерри Тан подчеркнул, что исследователи очень серьёзно относимся к угрозе использования изобретения в дурных целях. Алекс Хут пояснил, что, например, работодатели, которые шпионят за сотрудниками, должны сначала тщательно обучить добровольного участника в учреждении с дорогостоящим оборудованием. Причём испытуемому нужно провести до 15 часов в МРТ-сканере совершенно неподвижно и внимательно слушая обучающие тексты. И только после этого можно говорить о каких-то практических результатах.
Причём вообще обойтись без тренировок в МРТ не получится. Исследователи протестировали систему на людях, на которых она не была обучена, и внятных результатов не получили.
Кроме того, есть способы защититься от расшифровки своих мыслей. Исследователи проверили, может ли ранее участвовавший в тренинге активно сопротивляться последующим попыткам залезь к нему в голову. Такие тактики, как думать о животных или спокойно представлять, как они рассказывают свою собственную историю, позволяли участникам с лёгкостью воспрепятствовать системе.
Предвидя совершенствование в сторону контроля над разумом, учёные уже сейчас говорят, что нужно вводить правила для защиты людей от чтения их мыслей против воли.
