Модель обучения RoboCat берётся за новые задачи и не прекращает учиться

Мечта о роботе общего назначения стала немного ближе благодаря модели RoboCat, которая легко берётся за новые задачи и никогда не прекращает учиться. RoboCat позволяет роботизированным рукам-манипуляторам осваивать всё больше и больше разных навыков.


У роботов-универсалов много преимуществ по сравнению с созданными для одной конкретной цели. Гибкость делает многозадачные устройства более полезными в различных условиях, поскольку они не потребуют значительного перепрограммирования и технических модификаций. Ещё одно бесспорное преимущество роботов общего назначения — возможность сэкономить. Вместо того чтобы тратиться на несколько специализированных роботов для разных задач, можно использовать одного для различных функций. Очевидны снижение затрат и на техобслуживание при повышении эффективности.

Во всей описанной прекрасной картине есть одно, но огромное «но»: пока нет (или, возможно, есть, но очень мало) роботов, которые были бы мастерами на все руки. Проблема в том, что роботов общего назначения очень сложно построить. Но цель разработать и настроить алгоритм обучения, чтобы выполнять любую произвольную команду, настолько заманчива, что её решили приблизить. На сложную задачу замахнулась команда исследователей из Google DeepMind, разработав базовую модель для управления манипуляторами.

«РобоКот» — это визуальный преобразователь решений, обусловленный поставленной целью, который обучался на видеороликах с сотнями выполняемых заданий. Данные для обучения собирали от различных манипуляторов реальных действующих роботов, а также из моделируемых на компьютере сред. Система опирается на знания, полученные из разнообразного набора данных для начального обучения, а затем учится выполнять новые задачи всего после 100 просмотров «развивающего» материала. У первоначальной модели был показатель успеха около 36% при выполнении ранее невиданных ею задач, причём после 500 демонстраций «уроков». Но после обучения новому показатель успеха более чем удвоился.

Как платформа RoboCat совершенствуется самостоятельно? После усвоения новой задачи запускается агент, который отрабатывает свежий навык около 10 тыс. раз. Так собираются дополнительные обучающие данные. Затем сгенерированные данные используются в другом раунде обучения, что позволяет модели самосовершенствоваться без дополнительных вводных.

Команда учёных проверила свои методы в серии экспериментов. В одном случае выяснилось, что модель, обученная управлять роботизированной рукой с двупалым захватом, смогла также управлять более сложным трёхпалым захватом всего за несколько часов. За такое же время система способна научиться, например, брать правильный фрукт из вазы или складывать головоломку.

Впрочем, представленные Google DeepMind успехи пока ещё не привели к созданию робота общего назначения. Но это был важный шаг к достижению цели. Универсальность и адаптивность продемонстрированных методов значительно продвигают дело вперёд. Возможно, со временем другие группы исследователей подхватят тематику и продолжать развивать это направление. Что касается конкретной исследовательской группы RoboCat, то они теперь рассматривают вопрос дальнейшего совершенствованию своей умнеющей с каждым днём модели.