Meta разрабатывает языковой бот с искусственным интеллектом, который может использовать внешние программные инструменты
Языковые модели, такие как ChatGPT, произвели революцию в области обработки естественного языка, но они по-прежнему сталкиваются с некоторыми проблемами, в таких базовых операциях как арифметика или проверка фактов в генерируемом тексте. В прошлый четверг исследователи из Meta представили Toolformer, языковую модель ИИ, которая использует внешние инструменты, такие как поисковые системы, калькуляторы и календари, не жертвуя при этом своими базовыми возможностями языкового моделирования.
Ключевой особенностью Toolformer является то, что он может использовать API (интерфейсы прикладного программирования), представленные в виде набора протоколов, которые позволяют различным приложениям взаимодействовать друг с другом, часто бесшовным и автоматизированным образом. Во время обучения исследователи предоставили Toolformer небольшой набор написанных человеком примеров, демонстрирующих использование каждого API, а затем позволили аннотировать большой набор данных языкового моделирования потенциальными вызовами API. Нейросеть справилась с задачей в режиме «самоконтроля», что означает, что она может учиться, не нуждаясь в постоянном руководстве человека.
Модель научилась взаимодействовать с каждой командой вызова API, как если бы они были любой другой формой текста. В результате, во время работы — генерации текста в ответ на ввод пользователем запроса — он может вставлять вызовы внешних приложений, когда это необходимо. Более того, Toolformer может самостоятельно «решать», какой инструмент использовать в соответствующем контексте и как именно использовать результат работы внешнего приложения.
Модели больших языков (LLM) хорошо известны тем, что не особенно хороши в арифметике. Toolformer теперь может обойти это ограничение с помощью программы-калькулятора. Или, если вам необходимо, чтобы помощник на основе LLM добавил дату в свой календарь, Toolformer мог бы справиться с этой задачей, используя ссылку API на приложение календаря.
Toolformer основан на предварительно обученной модели GPT-J с 6,7 миллиарда параметров. Эксперименты, проведенные исследователями на различных задачах с использованием инструментов показали, что Toolformer обеспечивает гораздо более высокую производительность, чем более крупная модель GPT-3, которая содержит 175 миллиардов параметров.
Исследователи не в первый раз пытаются компенсировать ограничения языковых моделей. Фактически, недавняя модель Bing Chat может выполнять поиск в Интернете самостоятельно, когда это необходимо, а некоторые другие системы уже пытались интегрироваться с браузерами, калькуляторами и поисковыми системами. Однако, по словам исследователей из Meta, большинство существующих подходов к интеграции инструментов в языковые модели основывались на большом количестве человеческих аннотаций или были ограничены конкретными настройками для конкретных задач. В отличие от этого, Toolformer будет использовать ряд инструментов в обобщенном виде, что не требует специальной подготовки с участием человека для выполнения конкретных задач.
Ключевой особенностью Toolformer является то, что он может использовать API (интерфейсы прикладного программирования), представленные в виде набора протоколов, которые позволяют различным приложениям взаимодействовать друг с другом, часто бесшовным и автоматизированным образом. Во время обучения исследователи предоставили Toolformer небольшой набор написанных человеком примеров, демонстрирующих использование каждого API, а затем позволили аннотировать большой набор данных языкового моделирования потенциальными вызовами API. Нейросеть справилась с задачей в режиме «самоконтроля», что означает, что она может учиться, не нуждаясь в постоянном руководстве человека.
Модель научилась взаимодействовать с каждой командой вызова API, как если бы они были любой другой формой текста. В результате, во время работы — генерации текста в ответ на ввод пользователем запроса — он может вставлять вызовы внешних приложений, когда это необходимо. Более того, Toolformer может самостоятельно «решать», какой инструмент использовать в соответствующем контексте и как именно использовать результат работы внешнего приложения.
Модели больших языков (LLM) хорошо известны тем, что не особенно хороши в арифметике. Toolformer теперь может обойти это ограничение с помощью программы-калькулятора. Или, если вам необходимо, чтобы помощник на основе LLM добавил дату в свой календарь, Toolformer мог бы справиться с этой задачей, используя ссылку API на приложение календаря.
Toolformer основан на предварительно обученной модели GPT-J с 6,7 миллиарда параметров. Эксперименты, проведенные исследователями на различных задачах с использованием инструментов показали, что Toolformer обеспечивает гораздо более высокую производительность, чем более крупная модель GPT-3, которая содержит 175 миллиардов параметров.
Исследователи не в первый раз пытаются компенсировать ограничения языковых моделей. Фактически, недавняя модель Bing Chat может выполнять поиск в Интернете самостоятельно, когда это необходимо, а некоторые другие системы уже пытались интегрироваться с браузерами, калькуляторами и поисковыми системами. Однако, по словам исследователей из Meta, большинство существующих подходов к интеграции инструментов в языковые модели основывались на большом количестве человеческих аннотаций или были ограничены конкретными настройками для конкретных задач. В отличие от этого, Toolformer будет использовать ряд инструментов в обобщенном виде, что не требует специальной подготовки с участием человека для выполнения конкретных задач.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Таинственная «дверь» обнаружена в Антарктиде
Теория заговора против официальной науки: кто окажется прав?...
15 000 американских городов станут призраками в ближайшие десятилетия
Ученые уверены, что «там просто некому будет жить»....
Не по вкусу: комары пьют кровь не у всех подряд
Полезно понимать для защиты от опасных насекомых....
НЛО управляют армией беспилотников, которые следят за военными базами США
Загадочные дроны буквально терроризируют американских военных летчиков....
Странный случай: укус змеи подействовал на австралийца спустя 15 часов
Только 10% укушенных на самом деле получают дозу яда....
Собаки поднялись на новую ступень эволюции
Третья стадия одомашнивания — что это значит?...
20 млн жителей США могут остаться без воды
Великие озера поразила небывалая засуха....
Первые оседлые люди в Европе: в Сербии обнаружили дом возрастом 8000 лет
Обгорелое жилище перевернуло представления о ранних поселенцах....
Вспененный гель быстро останавливает кровотечение и снижает риск заражения
Учёные изобрели спасающую жизнь «повязку»....
Кошки могут понимать многие слова
Но для экспериментов голос хозяина произносил бессмыслицу....
Google срочно переходит на атомную энергию
АЭС опасны, но у Америки просто нет выхода....
Первая частная космическая станция появится на орбите в 2025 году
Комплекс, созданный с учетом проблем астронавтов, потянул на миллиард долларов....
Американские ученые отрицают ускорение глобального потепления
Формально, так и есть, но это ещё не всё....
Окаменелости в Индии рассказали о самом раннем случае разделки слонов людьми
Это произошло не менее 300 тысяч лет назад....
Детекторы ИИ ложно обвинили студентов в плагиате
Ничто не ново на всё 100%....
Режиссер фильма «Я, робот» утверждает, что Илон Маск крадет его идеи
Смех смехом, но новые проекты Маска удивительно похожи на кадры из фильма....