ChatGPT становится глупее?
Широко известная крупноязыковая модель OpenAI была названа «лучшим чат-ботом с искусственным интеллектом, когда-либо выпущенным для широкой публики» Кевином Рузом, автором книги «Защищенность от будущего: 9 правил для людей в эпоху автоматизации» и «одной из самых величайших вещей, которые когда-либо были сделаны для вычислительной техники», — генеральным директором Nvidia Дженсеном Хуангом.
ChatGPT стал настолько хорош в предоставлении реалистичных ответов на запросы пользователей, что, как утверждают некоторые специалисты, он официально прошел тест Тьюринга, демонстрирующий способности машины достичь человеческого интеллекта.
ChatGPT уже продемонстрировал хорошие результаты на экзаменах по успеваемости во множестве областей: математика (89-е место), юриспруденция (90-е место) и вербальный GRE (99-е место).
Также исследователи из медицинской школы Нью-Йоркского университета сообщили в начале июля 2023 года, что советы, данные ChatGPT по вопросам, связанным со здравоохранением, почти неотличимы от рекомендаций, предоставляемых квалифицированным медицинским персоналом.
Однако исследователи из Стэнфордского университета и Калифорнийского университета в Беркли все еще не готовы доверить ChatGPT принятие каких-либо важных решений.
Вторя растущему количеству опасений, недавно высказанных пользователями, Линцзяо Чен, Матей Захария и Джеймс Чжу заявили, что производительность ChatGPT нестабильна. В некоторых случаях оно ухудшается.
В документе, опубликованном на сервере препринтов arXiv 18 июля, исследователи заявили, что производительность и поведение как GPT-3.5, так и GPT-4 значительно различаются и что ответы на некоторые задачи со временем значительно ухудшились.
Они отметили значительные изменения в производительности за четырехмесячный период, с марта по июнь.
Исследователи сосредоточились на нескольких областях, включая решение математических задач и генерацию компьютерного кода.
В марте 2023 года GPT-4 достиг уровня точности 97,6% при решении задач, связанных с простыми числами. По данным исследователей из Стэнфорда, этот показатель резко упал до 2,4%, когда использовалась обновленная модель от июня 2023 года.
ChatGPT получил широкое признание за способность помогать программистам с задачами по программированию и и отладке. В марте GPT-4 ответила на запросы программистов, выполнив точные, готовые к запуску сценарии чуть более чем в 50% случаев. Но к июню ставка снизилась до 10%. Chat-GPT-3.5 также показал заметное снижение точности с 22% в марте до 2% в июне.
Особенно интересно в этом контексте, что ChatGPT-3.5 показал почти противоположные результаты в математических способностях: достигнув в марте точности решения задач с простыми числами всего на 7,4%, обновленная версия в июне достигла 86,8%.
Один из авторов исследования Джеймс Чжу считает, что на данном этапе трудно определить причину, хотя кажется очевидным, что системные модификации и обновления стали значительными факторами.
— Джеймс Чжу.
Теоретики заговора, которые заметили ухудшение некоторых результатов, предполагают, что OpenAI экспериментирует с альтернативными, меньшими версиями LLM в качестве меры экономии. Другие предполагают, что OpenAI намеренно ослабляет GPT-4, поэтому разочарованные пользователи будут более готовы платить за аксессуар GitHub LLM CoPilot.
OpenAI, впрочем, отвергает подобные претензии.
— Питер Велиндер, вице-президент OpenAI по ChatGPT.
Между тем, некоторые наблюдатели, опасающиеся влияния разрушительного «дрейфа» на результаты моделирования, подталкивают OpenAI к раскрытию источников учебных материалов, кода и других структурных элементов, лежащих в основе ChatGPG 4.0.
— Саша Лучони, специалист из ИИ-компании Hugging Face.
ChatGPT стал настолько хорош в предоставлении реалистичных ответов на запросы пользователей, что, как утверждают некоторые специалисты, он официально прошел тест Тьюринга, демонстрирующий способности машины достичь человеческого интеллекта.
ChatGPT уже продемонстрировал хорошие результаты на экзаменах по успеваемости во множестве областей: математика (89-е место), юриспруденция (90-е место) и вербальный GRE (99-е место).
Также исследователи из медицинской школы Нью-Йоркского университета сообщили в начале июля 2023 года, что советы, данные ChatGPT по вопросам, связанным со здравоохранением, почти неотличимы от рекомендаций, предоставляемых квалифицированным медицинским персоналом.
Однако исследователи из Стэнфордского университета и Калифорнийского университета в Беркли все еще не готовы доверить ChatGPT принятие каких-либо важных решений.
Вторя растущему количеству опасений, недавно высказанных пользователями, Линцзяо Чен, Матей Захария и Джеймс Чжу заявили, что производительность ChatGPT нестабильна. В некоторых случаях оно ухудшается.
В документе, опубликованном на сервере препринтов arXiv 18 июля, исследователи заявили, что производительность и поведение как GPT-3.5, так и GPT-4 значительно различаются и что ответы на некоторые задачи со временем значительно ухудшились.
Они отметили значительные изменения в производительности за четырехмесячный период, с марта по июнь.
Исследователи сосредоточились на нескольких областях, включая решение математических задач и генерацию компьютерного кода.
В марте 2023 года GPT-4 достиг уровня точности 97,6% при решении задач, связанных с простыми числами. По данным исследователей из Стэнфорда, этот показатель резко упал до 2,4%, когда использовалась обновленная модель от июня 2023 года.
ChatGPT получил широкое признание за способность помогать программистам с задачами по программированию и и отладке. В марте GPT-4 ответила на запросы программистов, выполнив точные, готовые к запуску сценарии чуть более чем в 50% случаев. Но к июню ставка снизилась до 10%. Chat-GPT-3.5 также показал заметное снижение точности с 22% в марте до 2% в июне.
Особенно интересно в этом контексте, что ChatGPT-3.5 показал почти противоположные результаты в математических способностях: достигнув в марте точности решения задач с простыми числами всего на 7,4%, обновленная версия в июне достигла 86,8%.
Один из авторов исследования Джеймс Чжу считает, что на данном этапе трудно определить причину, хотя кажется очевидным, что системные модификации и обновления стали значительными факторами.
Мы не до конца понимаем, что вызывает эти изменения в ответах ChatGPT, потому что эти модели непрозрачны. Возможно, что настройка модели для повышения ее производительности в некоторых областях может иметь неожиданные побочные эффекты, ухудшающие ее выполнение в других задачах
— Джеймс Чжу.
Теоретики заговора, которые заметили ухудшение некоторых результатов, предполагают, что OpenAI экспериментирует с альтернативными, меньшими версиями LLM в качестве меры экономии. Другие предполагают, что OpenAI намеренно ослабляет GPT-4, поэтому разочарованные пользователи будут более готовы платить за аксессуар GitHub LLM CoPilot.
OpenAI, впрочем, отвергает подобные претензии.
Мы точно не занижали способности GPT-4. Напротив: мы делаем каждую новую версию умнее предыдущей. Когда вы используете технологию более интенсивно, вы начинаете замечать проблемы, которых не было видно раньше
— Питер Велиндер, вице-президент OpenAI по ChatGPT.
Между тем, некоторые наблюдатели, опасающиеся влияния разрушительного «дрейфа» на результаты моделирования, подталкивают OpenAI к раскрытию источников учебных материалов, кода и других структурных элементов, лежащих в основе ChatGPG 4.0.
Любые результаты на моделях с закрытым исходным кодом не воспроизводимы и не поддаются проверке, и поэтому с научной точки зрения мы не имеем основы для исследований.
Ученым следует постоянно следить за развернутыми LLM. Создатели моделей должны предоставить доступ к базовым моделям, по крайней мере, для целей аудита
Ученым следует постоянно следить за развернутыми LLM. Создатели моделей должны предоставить доступ к базовым моделям, по крайней мере, для целей аудита
— Саша Лучони, специалист из ИИ-компании Hugging Face.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...