Как и GPT-4 OpenAI, Claude — это большая языковая модель (LLM), которая работает, предсказывая следующий токен в последовательности при получении определенного ввода. Токены — это фрагменты слов, используемые для упрощения обработки данных ИИ, а «контекстное окно» похоже на кратковременную память — количество входных данных, предоставленных человеком, которое LLM может обработать за один раз.
Большое контекстное окно означает, что LLM может рассматривать более крупные материалы, такие как книги, или участвовать в очень продолжительных интерактивных беседах, которые, согласно Anthropic, могут длиться часами или даже днями.
Среднестатистический человек может прочитать 100 000 символов текста примерно за 5 с лишним часов, а затем ему может потребоваться значительно больше времени, чтобы переварить, запомнить и проанализировать полученную информацию. Теперь Клод может сделать это менее чем за минуту. Например, мы загрузили весь текст «Великого Гэтсби» в Claude-Instant (72 000 токенов) и изменили одну строку, добавив, что г-н Каррауэй — «инженер-программист, работающий над инструментами машинного обучения в Anthropic». Когда мы попросили модель определить, в чем отличие, она дала правильный ответ через 22 секунды
— Anthropic.
Хотя выделение изменений в тексте может показаться не впечатляющим (Microsoft Word может это сделать, но только если у него есть два документа для сравнения), учтите, что после передачи Клод текста «Великого Гэтсби» модель ИИ способна в последствие интерактивно ответить вопросы о нем или проанализировать его значение. 100 000 токенов — это большой апгрейд для LLM. Для сравнения, OpenAI GPT-4 LLM имеет длину контекстного окна 4096 токенов (около 3000 слов) при использовании как часть ChatGPT и 8192 или 32768 токенов через API GPT-4 (который в настоящее время доступен только через список ожидания).
Чтобы стало понятнее, как большое контекстное окно приводит к более длительному разговору с чат-ботом, таким как ChatGPT или Claude, мы сделали иллюстрацию, которая показывает, как размер подсказки (хранящейся в контекстном окне) увеличивается, чтобы вместить все текст беседы. Это означает, что разговор может длиться дольше, прежде чем чат-бот потеряет свою «память» о разговоре.
Согласно Anthropic, расширенные возможности Клод не ограничиваются обработкой книг. Увеличенное контекстное окно потенциально может помочь предприятиям извлекать важную информацию из нескольких документов посредством диалогового взаимодействия. Компания предполагает, что этот подход может превзойти методы, основанные на векторном поиске, при работе со сложными запросами.
Хотя Anthropic не обладает такой популярностью на рынке ИИ, как Microsoft и Google, он стал заметным конкурентом OpenAI с точки зрения конкурентоспособных предложений в области LLM и доступа к API. Бывший вице-президент OpenAI по исследованиям Дарио Амодеи и его сестра Даниэла основали Anthropic в 2021 году после разногласий по поводу коммерческого направления проекта OpenAI. Примечательно, что в конце 2022 года Anthropic получила от Google инвестиции в размере 300 миллионов долларов, при этом Google приобрела 10-процентную долю в фирме.
Anthropic сообщает, что 100 000 контекстных окон теперь будут доступны для тех пользователей Claude API, которые в настоящее время ограничены списком ожидания.
