ChatGPT становится глупее?

Широко известная крупноязыковая модель OpenAI была названа «лучшим чат-ботом с искусственным интеллектом, когда-либо выпущенным для широкой публики» Кевином Рузом, автором книги «Защищенность от будущего: 9 правил для людей в эпоху автоматизации» и «одной из самых величайших вещей, которые когда-либо были сделаны для вычислительной техники», — генеральным директором Nvidia Дженсеном Хуангом.


ChatGPT стал настолько хорош в предоставлении реалистичных ответов на запросы пользователей, что, как утверждают некоторые специалисты, он официально прошел тест Тьюринга, демонстрирующий способности машины достичь человеческого интеллекта.

ChatGPT уже продемонстрировал хорошие результаты на экзаменах по успеваемости во множестве областей: математика (89-е место), юриспруденция (90-е место) и вербальный GRE (99-е место).

Также исследователи из медицинской школы Нью-Йоркского университета сообщили в начале июля 2023 года, что советы, данные ChatGPT по вопросам, связанным со здравоохранением, почти неотличимы от рекомендаций, предоставляемых квалифицированным медицинским персоналом.

Однако исследователи из Стэнфордского университета и Калифорнийского университета в Беркли все еще не готовы доверить ChatGPT принятие каких-либо важных решений.

Вторя растущему количеству опасений, недавно высказанных пользователями, Линцзяо Чен, Матей Захария и Джеймс Чжу заявили, что производительность ChatGPT нестабильна. В некоторых случаях оно ухудшается.

В документе, опубликованном на сервере препринтов arXiv 18 июля, исследователи заявили, что производительность и поведение как GPT-3.5, так и GPT-4 значительно различаются и что ответы на некоторые задачи со временем значительно ухудшились.

Они отметили значительные изменения в производительности за четырехмесячный период, с марта по июнь.

Исследователи сосредоточились на нескольких областях, включая решение математических задач и генерацию компьютерного кода.

В марте 2023 года GPT-4 достиг уровня точности 97,6% при решении задач, связанных с простыми числами. По данным исследователей из Стэнфорда, этот показатель резко упал до 2,4%, когда использовалась обновленная модель от июня 2023 года.

ChatGPT получил широкое признание за способность помогать программистам с задачами по программированию и и отладке. В марте GPT-4 ответила на запросы программистов, выполнив точные, готовые к запуску сценарии чуть более чем в 50% случаев. Но к июню ставка снизилась до 10%. Chat-GPT-3.5 также показал заметное снижение точности с 22% в марте до 2% в июне.

Особенно интересно в этом контексте, что ChatGPT-3.5 показал почти противоположные результаты в математических способностях: достигнув в марте точности решения задач с простыми числами всего на 7,4%, обновленная версия в июне достигла 86,8%.

Один из авторов исследования Джеймс Чжу считает, что на данном этапе трудно определить причину, хотя кажется очевидным, что системные модификации и обновления стали значительными факторами.


— Джеймс Чжу.

Теоретики заговора, которые заметили ухудшение некоторых результатов, предполагают, что OpenAI экспериментирует с альтернативными, меньшими версиями LLM в качестве меры экономии. Другие предполагают, что OpenAI намеренно ослабляет GPT-4, поэтому разочарованные пользователи будут более готовы платить за аксессуар GitHub LLM CoPilot.

OpenAI, впрочем, отвергает подобные претензии.


— Питер Велиндер, вице-президент OpenAI по ChatGPT.

Между тем, некоторые наблюдатели, опасающиеся влияния разрушительного «дрейфа» на результаты моделирования, подталкивают OpenAI к раскрытию источников учебных материалов, кода и других структурных элементов, лежащих в основе ChatGPG 4.0.


— Саша Лучони, специалист из ИИ-компании Hugging Face.