
Робота научили отыскивать и перекладывать предметы в чужих комнатах
Группа робототехников из Нью-Йоркского университета при сотрудничестве со сторонними специалистами по искусственному интеллекту (ИИ) спроектировали и обучили робота обращаться с предметами. Устройство способно выбирать определённые вещи в практически незнакомой обстановке и перекладывать их на заданное место.
Создатели отметили, что им помогли так называемые визуальные языковые модели (VLM). VLM значительно продвинулись за последние несколько лет и стали достаточно хороши для распознавания объектов на основе языковых подсказок. Инженеры также сообщили, что в последние время улучшились механические способности роботов: их манипуляторы позволяют захватывать предметы, не повреждая, и перемещать в нужные места, в том числе ставить на пол. Но до недавних пор исследователи мало чего достигли в сочетании соответствующего программного обеспечения (ПО) и робототехнического «железа».
Для своего проекта изобретатели попытались добиться успеха на этом направлении с помощью готового робота, продаваемого компанией Hello Robot. Он оснащён колёсами, вертикальной штангой-направляющей и выдвижными рычагами с крепежом для манипуляторов. Исследователи «залили» в него обученную VLM и назвали результат OK-Robot.
Затем нашли десяток добровольцев, готовых на эксперименты в своих жилищах. Там учёные снимали на айфон панорамное видео, которое закачали в робота, чтобы дать ему общее представление о планировке домов. И в каждом отдельном случае поручали OK-Robot несколько задач, например, «переместить розовую бутылку с полки в мусорное ведро».
Поначалу робот выполнил 170 таких заданий с успехом в 58%. Несколько расчистив пространство, видимо, от избытка вещей, инженеры улучшили результат до 82%.
Изобретатели пояснили, что их система использует алгоритм действий без предварительных тренировок, и в этом главная цель проекта. Достигнутый ими успех они теперь считают доказательством эффективности подхода «робот + VLM».
Создатели отметили, что им помогли так называемые визуальные языковые модели (VLM). VLM значительно продвинулись за последние несколько лет и стали достаточно хороши для распознавания объектов на основе языковых подсказок. Инженеры также сообщили, что в последние время улучшились механические способности роботов: их манипуляторы позволяют захватывать предметы, не повреждая, и перемещать в нужные места, в том числе ставить на пол. Но до недавних пор исследователи мало чего достигли в сочетании соответствующего программного обеспечения (ПО) и робототехнического «железа».
Для своего проекта изобретатели попытались добиться успеха на этом направлении с помощью готового робота, продаваемого компанией Hello Robot. Он оснащён колёсами, вертикальной штангой-направляющей и выдвижными рычагами с крепежом для манипуляторов. Исследователи «залили» в него обученную VLM и назвали результат OK-Robot.
Затем нашли десяток добровольцев, готовых на эксперименты в своих жилищах. Там учёные снимали на айфон панорамное видео, которое закачали в робота, чтобы дать ему общее представление о планировке домов. И в каждом отдельном случае поручали OK-Robot несколько задач, например, «переместить розовую бутылку с полки в мусорное ведро».
Поначалу робот выполнил 170 таких заданий с успехом в 58%. Несколько расчистив пространство, видимо, от избытка вещей, инженеры улучшили результат до 82%.
Изобретатели пояснили, что их система использует алгоритм действий без предварительных тренировок, и в этом главная цель проекта. Достигнутый ими успех они теперь считают доказательством эффективности подхода «робот + VLM».
- Дмитрий Ладыгин
- youtu.be/-A2vuqFizZQ
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

В Дании случилась громкая археологическая сенсация: найдена могила вождя викингов, обладавшего «огромной силой»
Археологи считают, что человек из элитного некрополя был первой рукой легендарного короля Харальда Синезубого....

Таинственные сигналы из-подо льда в Антарктиде ставят в тупик ведущих ученых
Это не сюжет фантастического фильма, это реальность, с которой столкнулись полярники....

Археологи расшифровали 255 загадочных символов, высеченных на скале в Канаде более 200 лет назад
Тайна, которую скрывало поваленное дерево, оказалось невероятным историческим детективом....

Открытие десятилетия: Обычный массаж лица выводит мозговой мусор и делает нас гениями?!
Корейские ученые говорят: «Это невероятно, но дорогие таблетки больше не нужны!»...

Секретный код Пентагона расшифрован: как пицца предсказывает войны
Эксперты говорят: «Они заказывают еду, весь мир получает проблемы»....

Ученый предупреждает: Жизнь на Марсе будет очень похожа на тюрьму строгого режима
2 кв. метра, баланда по расписанию и вечная тревога — вот что ждет колонистов на Красной планете....

Анализ ДНК скелетов показал: 4500 лет назад в Китае правили… женщины
Гены рассказали, что отцов «набирали» со стороны, а власть наследовалась строго по матери....