ZSON включает в себя разработку методов, позволяющих роботам передвигаться по новой местности и взаимодействовать с ранее неизвестными объектами. Команда из Университета Мичигана решила улучшить этот подход, внедря большие языковые модели (LLM) для выполнения пользовательских команд.
Для решения этой задачи был создан фреймворк ORION, который использует LLM для взаимодействия роботов с окружающим миром. Этот фреймворк состоит из модулей управления, семантической карты, определения и запоминания объектов.
Трудности при создании нового типа навигации
Исследователи тестировали свой подход как в симуляциях, так и в реальной жизни. Они обнаружили, что ORION эффективно использует обратную связь от пользователей для поиска конкретных объектов. Однако совмещение всех функций робота по-прежнему остается сложной задачей.
В комнате есть три компьютера, которые робот раньше никогда не видел. Общаясь с пользователем робот задаёт уточняющие вопросы для обнаружения нужного компьютера.
Несмотря на потенциал ORION в улучшении персонализированной навигации роботов в неизвестных условиях, команда столкнулась со сложностями в одновременном обеспечении выполнения миссий роботами вместе с плавной навигацией в неизвестных условиях и качественным взаимодействием с пользователями.
Эта работа — лишь первый шаг в изучении применения LLM в персонализированной навигации и имеет ряд ограничений. Например, не учитываются более широкие типы задач, такие как задачи на основе анализа изображений или многомодульное взаимодействие с пользователями в реальном мире. В наших будущих работах мы планируем углубиться в эти вопросы, чтобы повысить адаптивность и универсальность интерактивных роботов в человеческом мире
—Дай, Пенг, соавтор исследования.
Будущее разработки
Основное внимание в будущих исследованиях команды будет уделено дальнейшему совершенствованию ORION и изучению других методов, которые могут дополнить его. Также необходимо улучшение многомодульного взаимодействия роботов с пользователями и обеспечение более высокой степени адаптивности к неожиданным ситуациям.
Разработка таких систем навигации роботов имеет огромный потенциал не только для научных исследований, но и для реального применения в индустрии, где требуется высокая степень персонализации и адаптивности к изменяющимся условиям.
