Большие языковые модели помогут роботам с навигацией в открытом мире

Современные роботы должны взаимодействовать с объектами и пользователями, постоянно анализируя окружающий мир и подстраиваясь под его изменения, а не придерживаясь заранее заданных команд. Последние исследования активно изучают такой подход как навигация объектов без предварительного обучения (ZSON).


ZSON включает в себя разработку методов, позволяющих роботам передвигаться по новой местности и взаимодействовать с ранее неизвестными объектами. Команда из Университета Мичигана решила улучшить этот подход, внедря большие языковые модели (LLM) для выполнения пользовательских команд.

Для решения этой задачи был создан фреймворк ORION, который использует LLM для взаимодействия роботов с окружающим миром. Этот фреймворк состоит из модулей управления, семантической карты, определения и запоминания объектов.

Трудности при создании нового типа навигации

Исследователи тестировали свой подход как в симуляциях, так и в реальной жизни. Они обнаружили, что ORION эффективно использует обратную связь от пользователей для поиска конкретных объектов. Однако совмещение всех функций робота по-прежнему остается сложной задачей.


Несмотря на потенциал ORION в улучшении персонализированной навигации роботов в неизвестных условиях, команда столкнулась со сложностями в одновременном обеспечении выполнения миссий роботами вместе с плавной навигацией в неизвестных условиях и качественным взаимодействием с пользователями.


—Дай, Пенг, соавтор исследования.

Будущее разработки

Основное внимание в будущих исследованиях команды будет уделено дальнейшему совершенствованию ORION и изучению других методов, которые могут дополнить его. Также необходимо улучшение многомодульного взаимодействия роботов с пользователями и обеспечение более высокой степени адаптивности к неожиданным ситуациям.

Разработка таких систем навигации роботов имеет огромный потенциал не только для научных исследований, но и для реального применения в индустрии, где требуется высокая степень персонализации и адаптивности к изменяющимся условиям.