Нарочная случайность в ИИ для роботов улучшила результаты
Инженеры из Северо-Западного университета, США, разработали новый алгоритм искусственного интеллекта (ИИ) специально для робототехники. Помогая таким устройствам быстро и надёжно развивать сложные навыки, метод значительно повышает практичность и безопасность роботов.
Алгоритм получил название Maximum Diffusion Reinforcement Learning (MaxDiffRL), что можно перевести как «усиленное обучение с максимальным рассеянием». Программное обеспечение (ПО) побуждает роботов исследовать окружающую среду наиболее случайным образом ради всестороннего опыта.
Нарочито заложенная случайность улучшает качество данных, собираемых роботами вокруг себя. В компьютерной модели виртуальные устройства обучались быстрее и эффективнее, повышая тем самым надёжность и производительность.
При тестировании в сравнении с иными видами ИИ компьютерные имитации с использованием алгоритма MaxDiffRL неизменно превосходили прочие самые современные модели. Фактически, новый алгоритм работает настолько хорошо, что роботы выучивают новые задачи, а затем успешно выполняют их при первой же попытке. То есть благодаря MaxDiffRL делают всё правильно с первого раза. Это резко контрастирует с существующими моделями ИИ, при которых обучение идёт методом проб и ошибок, то есть куда медленнее.
— Томас Берруэта, руководитель исследования.
Обычно для тренировки алгоритмов машинного обучения исследователи и разработчики используют большие объёмы данных, которые тщательно фильтруются и обрабатываются людьми. ИИ учится на этих данных действительно методом проб и ошибок, пока не достигнет оптимальных результатов. Процесс этот хорошо работает для софтверных систем, в форме ПО, таких как ChatGPT и Google Gemini. Но метод не столь эффективен для воплощённых, физических, устройств с ИИ, таких как роботы. Вот почему нормально, чтобы роботы собирали информацию самостоятельно, без копания людей в данных.
Чтобы протестировать новый алгоритм, исследователи запустили компьютерное моделирование, дав задание продолговатым виртуальным роботам выполнять ряд стандартных задач. В целом модели с MaxDiffRL, обучались быстрее других. Они также корректно выполняли команды намного последовательнее и надёжнее, чем другие «змейки». Прячём, как уже было сказано, с первой попытки, начав без каких-либо предварительных знаний о ситуации.

Берруэта заявил, что созданные им с коллегами роботы были быстрее и манёвреннее. А это стало бы огромным преимуществом для реальных устройств.
Кстати, MaxDiffRL необязательно использовать только для перемещающихся роботов. Например, он вполне бы подошёл для манипулятора на кухне, который учится загружать различную утварь в посудомоечную машину. Потенциально применение — беспилотные автомобили и летательные аппараты, домашняя робототехника и автоматизация различных процессов.
Итак, MaxDiffRL — это алгоритм широкого назначения, его можно использовать для множества целей. Исследователи надеются, что созданное ими ПО решит фундаментальные проблемы отрасли, и в конечном итоге проложит путь к надёжному принятию решений в робототехнике.
Алгоритм получил название Maximum Diffusion Reinforcement Learning (MaxDiffRL), что можно перевести как «усиленное обучение с максимальным рассеянием». Программное обеспечение (ПО) побуждает роботов исследовать окружающую среду наиболее случайным образом ради всестороннего опыта.
Нарочито заложенная случайность улучшает качество данных, собираемых роботами вокруг себя. В компьютерной модели виртуальные устройства обучались быстрее и эффективнее, повышая тем самым надёжность и производительность.
При тестировании в сравнении с иными видами ИИ компьютерные имитации с использованием алгоритма MaxDiffRL неизменно превосходили прочие самые современные модели. Фактически, новый алгоритм работает настолько хорошо, что роботы выучивают новые задачи, а затем успешно выполняют их при первой же попытке. То есть благодаря MaxDiffRL делают всё правильно с первого раза. Это резко контрастирует с существующими моделями ИИ, при которых обучение идёт методом проб и ошибок, то есть куда медленнее.
С нашей платформой каждый раз, когда вы включаете робота, он делает именно то, о чём его попросили
— Томас Берруэта, руководитель исследования.
Обычно для тренировки алгоритмов машинного обучения исследователи и разработчики используют большие объёмы данных, которые тщательно фильтруются и обрабатываются людьми. ИИ учится на этих данных действительно методом проб и ошибок, пока не достигнет оптимальных результатов. Процесс этот хорошо работает для софтверных систем, в форме ПО, таких как ChatGPT и Google Gemini. Но метод не столь эффективен для воплощённых, физических, устройств с ИИ, таких как роботы. Вот почему нормально, чтобы роботы собирали информацию самостоятельно, без копания людей в данных.
Чтобы протестировать новый алгоритм, исследователи запустили компьютерное моделирование, дав задание продолговатым виртуальным роботам выполнять ряд стандартных задач. В целом модели с MaxDiffRL, обучались быстрее других. Они также корректно выполняли команды намного последовательнее и надёжнее, чем другие «змейки». Прячём, как уже было сказано, с первой попытки, начав без каких-либо предварительных знаний о ситуации.

Берруэта заявил, что созданные им с коллегами роботы были быстрее и манёвреннее. А это стало бы огромным преимуществом для реальных устройств.
Кстати, MaxDiffRL необязательно использовать только для перемещающихся роботов. Например, он вполне бы подошёл для манипулятора на кухне, который учится загружать различную утварь в посудомоечную машину. Потенциально применение — беспилотные автомобили и летательные аппараты, домашняя робототехника и автоматизация различных процессов.
Итак, MaxDiffRL — это алгоритм широкого назначения, его можно использовать для множества целей. Исследователи надеются, что созданное ими ПО решит фундаментальные проблемы отрасли, и в конечном итоге проложит путь к надёжному принятию решений в робототехнике.
- Дмитрий Ладыгин
- youtu.be/P5Dpb21es58
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...
Запретный остров у берегов Исландии: суша, появившаяся в 1963 году, до сих пор закрыта почти для всех
Но ученым надо поторопиться, уникальный объект исчезает в буквальном смысле на глазах...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Как же на самом деле умерла Клеопатра: почему даже древние историки не смогли прийти к согласию в этом вопросе
Скорее всего, историю об укусе змеи запустил лично император Октавиан, чтобы опорочить египетскую царицу...
Прорыв в берестяных грамотах: 445 неизвестных слов, эффект Лукерьи, реальный русский язык XI–XV веков
Поразительно, но произношение 900-летней давности до сих пор присутствует в нашем языке...
Метеорит и пришельцы ни при чем: российский геолог объяснил происхождение аномалии в сибирской тайге
Кольцевую структуру видно даже со спутника, но добраться до нее крайне сложно...
Америка проигрывает болезни, которую когда-то победила с большим трудом
Положение США усугубляют действия президента Трампа и его чиновников...
Древние деревья помогли раскрыть дело 3500-летней давности: когда пал Вавилон?
Ученые до последнего момента не знали этой даты, потому что в великом городе не было… нормального календаря...
Неожиданный поворот в деле таинственного астероида 1998 KY26: он может быть… потерянным советским зондом
В этом уверен американский астрофизик Аве Лоеб. Какие доказательства предлагает известный ученый?...
Верблюды-вампиры бродили по Америке 13 миллионов лет назад: зачем им вообще понадобились такие жуткие клыки
Ученые говорят: это была эпоха, когда североамериканским континентом правили верблюды...
Не НЛО, но что тогда: ученая объяснила появление светящихся столбов над Барнаулом
Что интересно, это уникальное явление можно увидеть не только зимой и не только в Сибири...
200-летний секрет казненной королевы: почему Мария-Антуанетта была уже обречена на скорую и мучительную гибель
Одежда рассказала не только о последних днях королевы, но и открыла судьбу 9-летнего французского принца...
Куда бить по астероиду, чтобы спасти Землю: ученые рассчитали идеальный ядерный выстрел
Почему раньше так не умели и насколько при выстреле важна форма космического тела...
Эти странные деревья изменили облик всей планеты: в Англии найден самый древний лес в истории
Поразительно, но Земля стала другой всего за 4 миллиона лет. И это событие старше колец Сатурна...