
Робота научили отыскивать и перекладывать предметы в чужих комнатах
Группа робототехников из Нью-Йоркского университета при сотрудничестве со сторонними специалистами по искусственному интеллекту (ИИ) спроектировали и обучили робота обращаться с предметами. Устройство способно выбирать определённые вещи в практически незнакомой обстановке и перекладывать их на заданное место.
Создатели отметили, что им помогли так называемые визуальные языковые модели (VLM). VLM значительно продвинулись за последние несколько лет и стали достаточно хороши для распознавания объектов на основе языковых подсказок. Инженеры также сообщили, что в последние время улучшились механические способности роботов: их манипуляторы позволяют захватывать предметы, не повреждая, и перемещать в нужные места, в том числе ставить на пол. Но до недавних пор исследователи мало чего достигли в сочетании соответствующего программного обеспечения (ПО) и робототехнического «железа».
Для своего проекта изобретатели попытались добиться успеха на этом направлении с помощью готового робота, продаваемого компанией Hello Robot. Он оснащён колёсами, вертикальной штангой-направляющей и выдвижными рычагами с крепежом для манипуляторов. Исследователи «залили» в него обученную VLM и назвали результат OK-Robot.
Затем нашли десяток добровольцев, готовых на эксперименты в своих жилищах. Там учёные снимали на айфон панорамное видео, которое закачали в робота, чтобы дать ему общее представление о планировке домов. И в каждом отдельном случае поручали OK-Robot несколько задач, например, «переместить розовую бутылку с полки в мусорное ведро».
Поначалу робот выполнил 170 таких заданий с успехом в 58%. Несколько расчистив пространство, видимо, от избытка вещей, инженеры улучшили результат до 82%.
Изобретатели пояснили, что их система использует алгоритм действий без предварительных тренировок, и в этом главная цель проекта. Достигнутый ими успех они теперь считают доказательством эффективности подхода «робот + VLM».
Создатели отметили, что им помогли так называемые визуальные языковые модели (VLM). VLM значительно продвинулись за последние несколько лет и стали достаточно хороши для распознавания объектов на основе языковых подсказок. Инженеры также сообщили, что в последние время улучшились механические способности роботов: их манипуляторы позволяют захватывать предметы, не повреждая, и перемещать в нужные места, в том числе ставить на пол. Но до недавних пор исследователи мало чего достигли в сочетании соответствующего программного обеспечения (ПО) и робототехнического «железа».
Для своего проекта изобретатели попытались добиться успеха на этом направлении с помощью готового робота, продаваемого компанией Hello Robot. Он оснащён колёсами, вертикальной штангой-направляющей и выдвижными рычагами с крепежом для манипуляторов. Исследователи «залили» в него обученную VLM и назвали результат OK-Robot.
Затем нашли десяток добровольцев, готовых на эксперименты в своих жилищах. Там учёные снимали на айфон панорамное видео, которое закачали в робота, чтобы дать ему общее представление о планировке домов. И в каждом отдельном случае поручали OK-Robot несколько задач, например, «переместить розовую бутылку с полки в мусорное ведро».
Поначалу робот выполнил 170 таких заданий с успехом в 58%. Несколько расчистив пространство, видимо, от избытка вещей, инженеры улучшили результат до 82%.
Изобретатели пояснили, что их система использует алгоритм действий без предварительных тренировок, и в этом главная цель проекта. Достигнутый ими успех они теперь считают доказательством эффективности подхода «робот + VLM».
- Дмитрий Ладыгин
- youtu.be/-A2vuqFizZQ
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

Прогноз-2025: Кто первым нажмет красную кнопку в Третьей мировой?
Эксперты говорят: ядерная война может начаться гораздо быстрее и внезапнее, чем считалось до этого....

Ученые поражены: у растений есть секретный второй набор корней глубоко под землей
Это не только сенсация в ботанике, это вообще переворот в науке....

Найдено идеальное место для жизни на Марсе
По словам ученых, оно похоже… на нашу Сибирь....

Тайна разгадана: стало известно, почему большинство кошек предпочитают спать строго на одном боку
Оказалось, что это древний защитный механизм, которому миллионы лет....

Эксперты обнаружили существ, переживших прямой удар астероида, который уничтожил динозавров
Почему конец света — это вовсе не повод, чтобы вымирать?...

Уникальная находка в Нидерландах: археологи обнаружили римский лагерь далеко за пределами Империи
Как лидар и искусственный интеллект нашли объект-«невидимку» II века....

Ученые хотят создать хранилище микробов, чтобы те… не вымерли
Звучит кошмарно, но на самом деле от этого зависит судьба всего человечества....