Meta разрабатывает языковой бот с искусственным интеллектом, который может использовать внешние программные инструменты

Языковые модели, такие как ChatGPT, произвели революцию в области обработки естественного языка, но они по-прежнему сталкиваются с некоторыми проблемами, в таких базовых операциях как арифметика или проверка фактов в генерируемом тексте. В прошлый четверг исследователи из Meta представили Toolformer, языковую модель ИИ, которая использует внешние инструменты, такие как поисковые системы, калькуляторы и календари, не жертвуя при этом своими базовыми возможностями языкового моделирования.


Ключевой особенностью Toolformer является то, что он может использовать API (интерфейсы прикладного программирования), представленные в виде набора протоколов, которые позволяют различным приложениям взаимодействовать друг с другом, часто бесшовным и автоматизированным образом. Во время обучения исследователи предоставили Toolformer небольшой набор написанных человеком примеров, демонстрирующих использование каждого API, а затем позволили аннотировать большой набор данных языкового моделирования потенциальными вызовами API. Нейросеть справилась с задачей в режиме «самоконтроля», что означает, что она может учиться, не нуждаясь в постоянном руководстве человека.

Модель научилась взаимодействовать с каждой командой вызова API, как если бы они были любой другой формой текста. В результате, во время работы — генерации текста в ответ на ввод пользователем запроса — он может вставлять вызовы внешних приложений, когда это необходимо. Более того, Toolformer может самостоятельно «решать», какой инструмент использовать в соответствующем контексте и как именно использовать результат работы внешнего приложения.

Модели больших языков (LLM) хорошо известны тем, что не особенно хороши в арифметике. Toolformer теперь может обойти это ограничение с помощью программы-калькулятора. Или, если вам необходимо, чтобы помощник на основе LLM добавил дату в свой календарь, Toolformer мог бы справиться с этой задачей, используя ссылку API на приложение календаря.

Toolformer основан на предварительно обученной модели GPT-J с 6,7 миллиарда параметров. Эксперименты, проведенные исследователями на различных задачах с использованием инструментов показали, что Toolformer обеспечивает гораздо более высокую производительность, чем более крупная модель GPT-3, которая содержит 175 миллиардов параметров.

Исследователи не в первый раз пытаются компенсировать ограничения языковых моделей. Фактически, недавняя модель Bing Chat может выполнять поиск в Интернете самостоятельно, когда это необходимо, а некоторые другие системы уже пытались интегрироваться с браузерами, калькуляторами и поисковыми системами. Однако, по словам исследователей из Meta, большинство существующих подходов к интеграции инструментов в языковые модели основывались на большом количестве человеческих аннотаций или были ограничены конкретными настройками для конкретных задач. В отличие от этого, Toolformer будет использовать ряд инструментов в обобщенном виде, что не требует специальной подготовки с участием человека для выполнения конкретных задач.