Робота научили отыскивать и перекладывать предметы в чужих комнатах
Группа робототехников из Нью-Йоркского университета при сотрудничестве со сторонними специалистами по искусственному интеллекту (ИИ) спроектировали и обучили робота обращаться с предметами. Устройство способно выбирать определённые вещи в практически незнакомой обстановке и перекладывать их на заданное место.
Создатели отметили, что им помогли так называемые визуальные языковые модели (VLM). VLM значительно продвинулись за последние несколько лет и стали достаточно хороши для распознавания объектов на основе языковых подсказок. Инженеры также сообщили, что в последние время улучшились механические способности роботов: их манипуляторы позволяют захватывать предметы, не повреждая, и перемещать в нужные места, в том числе ставить на пол. Но до недавних пор исследователи мало чего достигли в сочетании соответствующего программного обеспечения (ПО) и робототехнического «железа».
Для своего проекта изобретатели попытались добиться успеха на этом направлении с помощью готового робота, продаваемого компанией Hello Robot. Он оснащён колёсами, вертикальной штангой-направляющей и выдвижными рычагами с крепежом для манипуляторов. Исследователи «залили» в него обученную VLM и назвали результат OK-Robot.
Затем нашли десяток добровольцев, готовых на эксперименты в своих жилищах. Там учёные снимали на айфон панорамное видео, которое закачали в робота, чтобы дать ему общее представление о планировке домов. И в каждом отдельном случае поручали OK-Robot несколько задач, например, «переместить розовую бутылку с полки в мусорное ведро».
Поначалу робот выполнил 170 таких заданий с успехом в 58%. Несколько расчистив пространство, видимо, от избытка вещей, инженеры улучшили результат до 82%.
Изобретатели пояснили, что их система использует алгоритм действий без предварительных тренировок, и в этом главная цель проекта. Достигнутый ими успех они теперь считают доказательством эффективности подхода «робот + VLM».
Создатели отметили, что им помогли так называемые визуальные языковые модели (VLM). VLM значительно продвинулись за последние несколько лет и стали достаточно хороши для распознавания объектов на основе языковых подсказок. Инженеры также сообщили, что в последние время улучшились механические способности роботов: их манипуляторы позволяют захватывать предметы, не повреждая, и перемещать в нужные места, в том числе ставить на пол. Но до недавних пор исследователи мало чего достигли в сочетании соответствующего программного обеспечения (ПО) и робототехнического «железа».
Для своего проекта изобретатели попытались добиться успеха на этом направлении с помощью готового робота, продаваемого компанией Hello Robot. Он оснащён колёсами, вертикальной штангой-направляющей и выдвижными рычагами с крепежом для манипуляторов. Исследователи «залили» в него обученную VLM и назвали результат OK-Robot.
Затем нашли десяток добровольцев, готовых на эксперименты в своих жилищах. Там учёные снимали на айфон панорамное видео, которое закачали в робота, чтобы дать ему общее представление о планировке домов. И в каждом отдельном случае поручали OK-Robot несколько задач, например, «переместить розовую бутылку с полки в мусорное ведро».
Поначалу робот выполнил 170 таких заданий с успехом в 58%. Несколько расчистив пространство, видимо, от избытка вещей, инженеры улучшили результат до 82%.
Изобретатели пояснили, что их система использует алгоритм действий без предварительных тренировок, и в этом главная цель проекта. Достигнутый ими успех они теперь считают доказательством эффективности подхода «робот + VLM».
- Дмитрий Ладыгин
- youtu.be/-A2vuqFizZQ
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Таинственная «дверь» обнаружена в Антарктиде
Теория заговора против официальной науки: кто окажется прав?...
15 000 американских городов станут призраками в ближайшие десятилетия
Ученые уверены, что «там просто некому будет жить»....
Не по вкусу: комары пьют кровь не у всех подряд
Полезно понимать для защиты от опасных насекомых....
НЛО управляют армией беспилотников, которые следят за военными базами США
Загадочные дроны буквально терроризируют американских военных летчиков....
Странный случай: укус змеи подействовал на австралийца спустя 15 часов
Только 10% укушенных на самом деле получают дозу яда....
Собаки поднялись на новую ступень эволюции
Третья стадия одомашнивания — что это значит?...
20 млн жителей США могут остаться без воды
Великие озера поразила небывалая засуха....
Первые оседлые люди в Европе: в Сербии обнаружили дом возрастом 8000 лет
Обгорелое жилище перевернуло представления о ранних поселенцах....
Вспененный гель быстро останавливает кровотечение и снижает риск заражения
Учёные изобрели спасающую жизнь «повязку»....
Кошки могут понимать многие слова
Но для экспериментов голос хозяина произносил бессмыслицу....
Google срочно переходит на атомную энергию
АЭС опасны, но у Америки просто нет выхода....
Первая частная космическая станция появится на орбите в 2025 году
Комплекс, созданный с учетом проблем астронавтов, потянул на миллиард долларов....
Американские ученые отрицают ускорение глобального потепления
Формально, так и есть, но это ещё не всё....
Окаменелости в Индии рассказали о самом раннем случае разделки слонов людьми
Это произошло не менее 300 тысяч лет назад....
Детекторы ИИ ложно обвинили студентов в плагиате
Ничто не ново на всё 100%....
Режиссер фильма «Я, робот» утверждает, что Илон Маск крадет его идеи
Смех смехом, но новые проекты Маска удивительно похожи на кадры из фильма....