Тайна сознания раскрыта: робот с особенным ИИ показал, как машины и дети учатся понимать

Мы, люди, отлично умеем обобщать. Если научить ребёнка различать красный цвет, показав ему красный мяч, красный грузовик и красный цветок, он, скорее всего, правильно назовёт цвет спелого помидора, даже если увидит его впервые.


При обучении обобщению важна композиционность — это способность различать в уме основные признаки, например, красный цвет предмета. Как мы приобретаем эту способность распознавать и обобщать — основной вопрос нейробиологии развития человека, а также исследований в области искусственного интеллекта (ИИ).

Самые первые типы ИИ — это компьютерные нейронные сети, которые впоследствии превратились в большие языковые модели (БЯМ). Разрабатывали этих «первенцев» для изучения того, как информация обрабатывается в нашем мозге. По мере усложнения этих моделей пути обработки информации внутри них также становились всё более сложными, так что у некоторых БЯМ сегодня — триллионы настраиваемых параметров.



Сотрудники исследовательского отдела когнитивной нейроробототехники в Институте науки и технологий Окинавы (OIST), что в Японии, создали модель воплощённого в механизм ИИ с новой архитектурой. Такой подход позволил исследователям получать доступ к различным внутренним состояниям нейронной сети, которая, как оказалось, учится обобщать так же, как это делают дети.

Экспериментальной установкой послужил показанный на верхнем фото манипулятор Torobo производства компании Tokyo Robotic с семью степенями свободы. Ему поручили задачу перемещать кубики разных цветов со сторонами по 5 см.

Первый автор исследования Прасанна Виджаярагхаван объяснил, что механизм помог нейронной сети достичь композиционности.


— Виджаярагхаван.

Поясним, что проприоцепцией в биологии называют ощущение в пространстве своего тела и его частей.

Существуют БЯМ, которые учатся статистическим взаимосвязям между словами в предложениях на основе огромного количества текстов. Имея доступ к каждому слову во всевозможных сочетаниях с другими словами, они предсказывают наиболее вероятный ответ на заданный вопрос.

Напротив, новая модель родом с Окинавы основана на программной платформе PV-RNN. Сокращение означает «Вариационная рекуррентная нейронная сеть, основанная на прогнозирующем кодировании». (Рекуррентность в математике — это вычисления на основе значений предыдущих членов последовательности).

PV-RNN обучали на движениях манипулятора и восприятии робота: зрение с видеозаписью «руки», перемещающей кубики; проприоцепция при движении «хваталки»; языковая инструкция, вроде «поставь красное на синее».

Затем БЯМ ставили задачу либо перечислить углы наклона суставов манипулятора в ответ на языковую инструкцию, либо сгенерировать языковую инструкцию в ответ на сенсорный ввод.

Система с PV-RNN основана на принципе свободной энергии. Он предполагает, что наш мозг постоянно прогнозирует сенсорные данные на основе прошлого опыта и предпринимает действия, чтобы минимизировать разницу между предположением и видимым. Разница эта измеряется свободной энергией, то есть неопределённостью. Сводя к минимуму объёмы свободной энергии, наш мозг поддерживает собственную стабильность.

Оснащённый ограниченными рабочей памятью и способностью сосредотачиваться, ИИ родом с Окинавы отражал когнитивные (умственные) ограничения в голове человека. Это вынуждало робота обрабатывать вводные и обновлять свои прогнозы последовательно, а не сразу, как это делают обычно БЯМ.

Изучая поток информации внутри модели ИИ, исследователи могли понять, как компьютер объединяет различные входные данные для прогнозирования действий. Именно благодаря этому модульному подходу исследователи узнали о том, как у младенцев может развиваться способность к составлению башенок из кубиков.

Как рассказал Виджаярагхаван, чем чаще модель сталкивалась с одним и тем же словом в разных контекстах, тем лучше она запоминала это слово. Это было похоже на реальную жизнь, ведь ребёнок гораздо быстрее усвоит понятие «красный цвет», если будет взаимодействовать с разными красными предметами, а не просто несколько раз поиграет только лишь красным грузовиком.


— Виджаярагхаван.

Именно эта особенность делает окинавскую модель такой полезной для когнитивистов, то есть специалистов, которые изучают реакции центральной нервной системы человека на определённые события и анализируют умственные процессы. А также эксперименты Виджаярагхавана и его коллег интересны исследователям ИИ, которые пытаются отобразить процессы принятия решений в своих компьютерных моделях.

Да, PV-RNN не сравнится в эффективности с БЯМ, но у неё своя цель — показывать, как построить нейронные сети для понимания способов обработки информации. Относительно простая архитектура PV-RNN позволяет исследователям наглядно показать работу алгоритмов — как информация из прошлого используется для прогнозирования в текущем моменте.



Особая модель также решает проблему «бедности стимулов». Заключается проблема в том, что словарного запаса, доступного детям, недостаточно для объяснений. У экспериментальной модели также бедный набор данных, особенно по сравнению с БЯМ, но она всё равно достигает композиционности. Наблюдения за манипулятором с PV-RNN позволяют предположить, что связь слов с действиями объясняет, как дети с такой поразительной скоростью за несколько лет осваивают язык.

Как мы обретаем и развиваем свой разум — один из важнейших вопросов науки. Хотя PV-RNN не даёт на него ответа, искусственная нейронная сеть указывает, каким путём лучше исследовать вопрос обработки информации в нашем мозге.


— Виджаярагхаван.