Однако прежде чем их можно будет полноценно использовать в реальных условиях, алгоритмы искусственного интеллекта, управляющие их движениями и позволяющие им решать поставленные задачи, необходимо обучить и протестировать в смоделированных средах. Хотя в настоящее время существует огромное количество платформ для обучения, очень немногие из них учитывают звуковое пространство, значение которого для человека игнорировать невозможно.
Группа исследователей из Стэнфордского университета недавно создала платформу Sonicverse — виртуальную среду для обучения искусственного интеллекта, которая включает в себя как визуальные, так и аудиальные элементы. Эта платформа, представленная на конференции по робототехнике ICRA 2023, может значительно упростить обучение алгоритмов, предназначенных для работы роботов, которые полагаются как на камеры, так и на микрофоны для навигации по своему окружению.
Бесшумное прошлое искусственного интеллекта
Sonicverse, платформа, созданная Руоханом Гао и его коллегами, моделирует как визуальные элементы заданной среды, так и звуки, которые искусственный интеллект уловит, исследуя эту среду. Учёные надеялись, что это поможет обучать роботов более эффективно и в более «реалистичных» виртуальных пространствах, улучшая их последующую производительность в нашем мире.
В то время как мы, люди, воспринимаем мир как зрением, так и слухом, очень немногие предыдущие работы касались обучения с помощью звука. Существующие симуляторы либо предполагают, что окружающая среда бесшумна и роботы не могут обнаружить звук, либо используют аудиовизуальные алгоритмы только в симуляции.
Наша цель состояла в том, чтобы представить новую платформу с реалистичной интегрированной аудиовизуальной симуляцией для обучения такого робота, который может и видеть, и слышать.
Sonicverse — это новая платформа мультисенсорного моделирования, которая воссоздаёт непрерывный рендеринг звука в трехмерной среде в режиме реального времени. Она может служить испытательным полигоном для многих задач искусственного интеллекта и взаимодействия человека и робота, например для аудиовизуальной навигации
Наша цель состояла в том, чтобы представить новую платформу с реалистичной интегрированной аудиовизуальной симуляцией для обучения такого робота, который может и видеть, и слышать.
Sonicverse — это новая платформа мультисенсорного моделирования, которая воссоздаёт непрерывный рендеринг звука в трехмерной среде в режиме реального времени. Она может служить испытательным полигоном для многих задач искусственного интеллекта и взаимодействия человека и робота, например для аудиовизуальной навигации
— Руохан Гао, один из создателей Sonicverse.
Тесты на черепахах
Чтобы протестировать свою платформу, исследователи использовали ее для обучения виртуальной версии TurtleBot, робота от компании Willow Garage, созданного для наиболее эффективного перемещения в помещении и избегающего столкновений с препятствиями. Затем они применили обученный в симуляции ИИ к реальному TurtleBot и протестировали его аудиовизуальные возможности навигации в офисной среде.
Мы продемонстрировали возможности Sonicverse с помощью перенесения результатов обучения из симуляции в реальные условия, чего не удалось достичь с помощью других аудиовизуальных симуляторов. Другими словами, мы показали, что робот, обученный на нашем симуляторе, может успешно выполнять аудиовизуальную навигацию в реальных условиях, например, в офисе
— Руохан Гао.
Перспективы аудиовизуальных симуляций
Результаты тестов, проведенных исследователями, весьма многообещающи: их платформа моделирования может обучать роботов более эффективно решать реальные задачи, используя как визуальные, так и слуховые стимулы. Платформа Sonicverse теперь доступна онлайн и вскоре может использоваться другими командами исследователей для обучения и тестирования машин, работающих на искусственном интеллекте.
Такое комплексное обучение имеет огромный потенциал для создания новых полезных функций домашних роботов в будущем. В наших следующих исследованиях мы планируем интегрировать куда больше мультисенсорных объектов в симуляции, чтобы мы могли моделировать сигналы как на уровне окружения, так и на уровне объектов, а также включать другие сенсорные воздействия, например, тактильное восприятие
— Руохан Гао.
