
Meta разрабатывает языковой бот с искусственным интеллектом, который может использовать внешние программные инструменты
Языковые модели, такие как ChatGPT, произвели революцию в области обработки естественного языка, но они по-прежнему сталкиваются с некоторыми проблемами, в таких базовых операциях как арифметика или проверка фактов в генерируемом тексте. В прошлый четверг исследователи из Meta представили Toolformer, языковую модель ИИ, которая использует внешние инструменты, такие как поисковые системы, калькуляторы и календари, не жертвуя при этом своими базовыми возможностями языкового моделирования.
Ключевой особенностью Toolformer является то, что он может использовать API (интерфейсы прикладного программирования), представленные в виде набора протоколов, которые позволяют различным приложениям взаимодействовать друг с другом, часто бесшовным и автоматизированным образом. Во время обучения исследователи предоставили Toolformer небольшой набор написанных человеком примеров, демонстрирующих использование каждого API, а затем позволили аннотировать большой набор данных языкового моделирования потенциальными вызовами API. Нейросеть справилась с задачей в режиме «самоконтроля», что означает, что она может учиться, не нуждаясь в постоянном руководстве человека.
Модель научилась взаимодействовать с каждой командой вызова API, как если бы они были любой другой формой текста. В результате, во время работы — генерации текста в ответ на ввод пользователем запроса — он может вставлять вызовы внешних приложений, когда это необходимо. Более того, Toolformer может самостоятельно «решать», какой инструмент использовать в соответствующем контексте и как именно использовать результат работы внешнего приложения.
Модели больших языков (LLM) хорошо известны тем, что не особенно хороши в арифметике. Toolformer теперь может обойти это ограничение с помощью программы-калькулятора. Или, если вам необходимо, чтобы помощник на основе LLM добавил дату в свой календарь, Toolformer мог бы справиться с этой задачей, используя ссылку API на приложение календаря.
Toolformer основан на предварительно обученной модели GPT-J с 6,7 миллиарда параметров. Эксперименты, проведенные исследователями на различных задачах с использованием инструментов показали, что Toolformer обеспечивает гораздо более высокую производительность, чем более крупная модель GPT-3, которая содержит 175 миллиардов параметров.
Исследователи не в первый раз пытаются компенсировать ограничения языковых моделей. Фактически, недавняя модель Bing Chat может выполнять поиск в Интернете самостоятельно, когда это необходимо, а некоторые другие системы уже пытались интегрироваться с браузерами, калькуляторами и поисковыми системами. Однако, по словам исследователей из Meta, большинство существующих подходов к интеграции инструментов в языковые модели основывались на большом количестве человеческих аннотаций или были ограничены конкретными настройками для конкретных задач. В отличие от этого, Toolformer будет использовать ряд инструментов в обобщенном виде, что не требует специальной подготовки с участием человека для выполнения конкретных задач.
Ключевой особенностью Toolformer является то, что он может использовать API (интерфейсы прикладного программирования), представленные в виде набора протоколов, которые позволяют различным приложениям взаимодействовать друг с другом, часто бесшовным и автоматизированным образом. Во время обучения исследователи предоставили Toolformer небольшой набор написанных человеком примеров, демонстрирующих использование каждого API, а затем позволили аннотировать большой набор данных языкового моделирования потенциальными вызовами API. Нейросеть справилась с задачей в режиме «самоконтроля», что означает, что она может учиться, не нуждаясь в постоянном руководстве человека.
Модель научилась взаимодействовать с каждой командой вызова API, как если бы они были любой другой формой текста. В результате, во время работы — генерации текста в ответ на ввод пользователем запроса — он может вставлять вызовы внешних приложений, когда это необходимо. Более того, Toolformer может самостоятельно «решать», какой инструмент использовать в соответствующем контексте и как именно использовать результат работы внешнего приложения.
Модели больших языков (LLM) хорошо известны тем, что не особенно хороши в арифметике. Toolformer теперь может обойти это ограничение с помощью программы-калькулятора. Или, если вам необходимо, чтобы помощник на основе LLM добавил дату в свой календарь, Toolformer мог бы справиться с этой задачей, используя ссылку API на приложение календаря.
Toolformer основан на предварительно обученной модели GPT-J с 6,7 миллиарда параметров. Эксперименты, проведенные исследователями на различных задачах с использованием инструментов показали, что Toolformer обеспечивает гораздо более высокую производительность, чем более крупная модель GPT-3, которая содержит 175 миллиардов параметров.
Исследователи не в первый раз пытаются компенсировать ограничения языковых моделей. Фактически, недавняя модель Bing Chat может выполнять поиск в Интернете самостоятельно, когда это необходимо, а некоторые другие системы уже пытались интегрироваться с браузерами, калькуляторами и поисковыми системами. Однако, по словам исследователей из Meta, большинство существующих подходов к интеграции инструментов в языковые модели основывались на большом количестве человеческих аннотаций или были ограничены конкретными настройками для конкретных задач. В отличие от этого, Toolformer будет использовать ряд инструментов в обобщенном виде, что не требует специальной подготовки с участием человека для выполнения конкретных задач.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

Прогноз-2025: Кто первым нажмет красную кнопку в Третьей мировой?
Эксперты говорят: ядерная война может начаться гораздо быстрее и внезапнее, чем считалось до этого....

Ученые поражены: у растений есть секретный второй набор корней глубоко под землей
Это не только сенсация в ботанике, это вообще переворот в науке....

Найдено идеальное место для жизни на Марсе
По словам ученых, оно похоже… на нашу Сибирь....

Уникальная находка в Нидерландах: археологи обнаружили римский лагерь далеко за пределами Империи
Как лидар и искусственный интеллект нашли объект-«невидимку» II века....

Тайна разгадана: стало известно, почему большинство кошек предпочитают спать строго на одном боку
Оказалось, что это древний защитный механизм, которому миллионы лет....

Эксперты обнаружили существ, переживших прямой удар астероида, который уничтожил динозавров
Почему конец света — это вовсе не повод, чтобы вымирать?...

Ученые хотят создать хранилище микробов, чтобы те… не вымерли
Звучит кошмарно, но на самом деле от этого зависит судьба всего человечества....

32 удивительных подарка за последние 20 лет: ученые пытаются понять, за что косатки «балуют» людей
Природная доброта? Любопытство? Желание выйти на контакт?...