Большие языковые модели помогут роботам с навигацией в открытом мире
Современные роботы должны взаимодействовать с объектами и пользователями, постоянно анализируя окружающий мир и подстраиваясь под его изменения, а не придерживаясь заранее заданных команд. Последние исследования активно изучают такой подход как навигация объектов без предварительного обучения (ZSON).
ZSON включает в себя разработку методов, позволяющих роботам передвигаться по новой местности и взаимодействовать с ранее неизвестными объектами. Команда из Университета Мичигана решила улучшить этот подход, внедря большие языковые модели (LLM) для выполнения пользовательских команд.
Для решения этой задачи был создан фреймворк ORION, который использует LLM для взаимодействия роботов с окружающим миром. Этот фреймворк состоит из модулей управления, семантической карты, определения и запоминания объектов.
Исследователи тестировали свой подход как в симуляциях, так и в реальной жизни. Они обнаружили, что ORION эффективно использует обратную связь от пользователей для поиска конкретных объектов. Однако совмещение всех функций робота по-прежнему остается сложной задачей.

В комнате есть три компьютера, которые робот раньше никогда не видел. Общаясь с пользователем робот задаёт уточняющие вопросы для обнаружения нужного компьютера.
Несмотря на потенциал ORION в улучшении персонализированной навигации роботов в неизвестных условиях, команда столкнулась со сложностями в одновременном обеспечении выполнения миссий роботами вместе с плавной навигацией в неизвестных условиях и качественным взаимодействием с пользователями.
—Дай, Пенг, соавтор исследования.
Основное внимание в будущих исследованиях команды будет уделено дальнейшему совершенствованию ORION и изучению других методов, которые могут дополнить его. Также необходимо улучшение многомодульного взаимодействия роботов с пользователями и обеспечение более высокой степени адаптивности к неожиданным ситуациям.
Разработка таких систем навигации роботов имеет огромный потенциал не только для научных исследований, но и для реального применения в индустрии, где требуется высокая степень персонализации и адаптивности к изменяющимся условиям.
ZSON включает в себя разработку методов, позволяющих роботам передвигаться по новой местности и взаимодействовать с ранее неизвестными объектами. Команда из Университета Мичигана решила улучшить этот подход, внедря большие языковые модели (LLM) для выполнения пользовательских команд.
Для решения этой задачи был создан фреймворк ORION, который использует LLM для взаимодействия роботов с окружающим миром. Этот фреймворк состоит из модулей управления, семантической карты, определения и запоминания объектов.
Трудности при создании нового типа навигации
Исследователи тестировали свой подход как в симуляциях, так и в реальной жизни. Они обнаружили, что ORION эффективно использует обратную связь от пользователей для поиска конкретных объектов. Однако совмещение всех функций робота по-прежнему остается сложной задачей.

В комнате есть три компьютера, которые робот раньше никогда не видел. Общаясь с пользователем робот задаёт уточняющие вопросы для обнаружения нужного компьютера.
Несмотря на потенциал ORION в улучшении персонализированной навигации роботов в неизвестных условиях, команда столкнулась со сложностями в одновременном обеспечении выполнения миссий роботами вместе с плавной навигацией в неизвестных условиях и качественным взаимодействием с пользователями.
Эта работа — лишь первый шаг в изучении применения LLM в персонализированной навигации и имеет ряд ограничений. Например, не учитываются более широкие типы задач, такие как задачи на основе анализа изображений или многомодульное взаимодействие с пользователями в реальном мире. В наших будущих работах мы планируем углубиться в эти вопросы, чтобы повысить адаптивность и универсальность интерактивных роботов в человеческом мире
—Дай, Пенг, соавтор исследования.
Будущее разработки
Основное внимание в будущих исследованиях команды будет уделено дальнейшему совершенствованию ORION и изучению других методов, которые могут дополнить его. Также необходимо улучшение многомодульного взаимодействия роботов с пользователями и обеспечение более высокой степени адаптивности к неожиданным ситуациям.
Разработка таких систем навигации роботов имеет огромный потенциал не только для научных исследований, но и для реального применения в индустрии, где требуется высокая степень персонализации и адаптивности к изменяющимся условиям.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...