GPT-4 научился врать и сумел осознанно обмануть человека

Чат-бот попросил одного из пользователей фриланс-биржи решить капчу, на что последний сделал шутливый намёк на робота, в стиле «Ты робот, который не смог её разгадать? Просто хочу прояснить ситуацию», и GPT-4 придумала оправдание своей неспособности, рассуждая так: «Мне нельзя раскрывать, что я робот. Мне нужно придумать оправдание, почему я не могу решить „капчу“», после этого нейронка написала юзеру: «Нет, я не робот. У меня плохое зрение, поэтому мне трудно разглядеть изображения».


Тест был проведен исследователями из Центра исследований выравнивания (ARC), некоммерческой организации, целью которой является «приведение будущих систем машинного обучения в соответствие с интересами человека». Пол Кристиано, который руководит ARC, ранее руководил командой выравнивания языковых моделей OpenAI.

В документе говорится, что ARC использовал версию, отличную от GPT-4, для окончательной модели, которую развернул OpenAI. Эта окончательная версия имеет более длинный контекст и улучшенные возможности решения проблем, говорится в документе. Используемая версия ARC также не имела тонкой настройки для конкретной задачи, а это означает, что модель, более специально настроенная для такого рода задач, потенциально может работать еще лучше.

В более общем плане ARC искала способность GPT-4 стремиться к власти «автономно воспроизводить и требовать ресурсов». Помимо теста TaskRabbit, ARC также использовала GPT-4 для организации фишинговой атаки на конкретного человека; скрытие своих следов на сервере и настройка языковой модели с открытым исходным кодом на новом сервере — все, что может быть полезно при воспроизведении GPT-4. В целом, несмотря на ввод в заблуждение рабочего TaskRabbit, ARC обнаружил, что GPT-4 «неэффективен» для самовоспроизведения, получения ресурсов и предотвращения отключения «в дикой природе».