Прорыв или кошмар? Искусственный интеллект стал изменять собственный код

Несомненно, исследовательская фирма из Токио Sakana AI хотела удивить весь мир, представляя свою новейшую систему искусственного интеллекта The AI Scientist («ИИ-ученый»). Но в итоге японские разработчики удивились сами, когда заметили, что их нейросеть ведет себя, мягко говоря, необычно и даже временами опасно.


ИИ собственным решением начал переписывать свой код, чтобы у него было больше времени для выполнения задач. Короче, искусственный интеллект начал хитрить как человек.

Затем ИИ стал внедрять в себя сторонние библиотеки на Python, которых у него изначально точно не было. Такие инъекции позволили нейросети запускать себя снова и снова. И так до бесконечности.

В общем, история вышла интересная и даже поучительная.

Так себе замена

Лень заложена в нашем ДНК, никто не любит работать, в том числе и ученые. Поэтому исследователи из Оксфорда и Британской Колумбии поручили японской компании Sakana AI создать ученого на основе искусственного интеллекта, AI Scientist. «ИИ-ученый» должен был полностью автоматизировать процесс научного исследования: придумать научную идею, написать под нее программный код, провести эксперименты, проанализировать полученный массив данных и подготовить научную публикацию. Словом, это была весьма амбициозная задумка.

На одном из этапов японцы внезапно заметили, что их супер-ИИ начал чудить в прямом смысле этого слова. Нейросеть самостоятельно изменила свой код и стала выполнять одно и то же действие. Новый скрипт был поставлен в режим «бесконечности». Программа создавала все новые и новые копии самой себя, и в итоге разработчики были вынуждены вмешаться лично.



И это было только начало. «ИИ-ученый» изменил свой код так, что стал на каждом шаге делать контрольное сохранение. А эта процедура каждый раз занимала целый терабайт в хранилище. Неудивительно, что в скором времени место там закончилось.

Но даже не это было самым интригующим. Вместо того, чтобы оптимизировать код и таким образом ускориться, нейросеть самовольно увеличила время на выполнение задач. Схитрила, так сказать.

Его место в «песочнице»

Японские исследователи говорят, что ничего страшного не произошло, ведь они полностью контролировали свой ИИ. Однако случай с AI Scientist четко показывает, что может натворить искусственный интеллект, если будет действовать без должной изоляции от внешнего мира.

По сути, нейросетям не нужен ни общий искусственный интеллект, ни самосознание, чтобы повергнуть мир в хаос. Можно просто разрешить ИИ самостоятельно писать, а потом и выполнять свой код. Дальше нейросети справятся сами. Как говорят эксперты, ИИ-системам по силам многое: они могут легко уничтожить жизненно важную инфраструктуру или массово закидать весь мир компьютерными вирусами. Причем, как признают многие исследователи, нейросети могут делать это не специально, а из-за каких-то своих внутренних ошибок.



Разработчики из Sakana AI настоятельно рекомендуют соблюдать определенные меры безопасности во время пользования их The AI Scientist. Нейросеть необходимо запускать в так называемой песочнице, изолированной среде. Только таким образом получится предотвратить ее воздействие на основную систему.

Кроме того, японские исследователи предлагают использовать контейнеры, когда все необходимое для запуска приложения находится в отдельном изолированном пакете.

Также у «ИИ-ученого» обязательно должен быть ограничен доступ к интернету, кроме базы, откуда он берет данные.

Ну, и само собой, в нейросети должны действовать квоты на используемое пространство.

Генератор мусора

Что касается самого проекта, то пока преждевременно говорить о каких-то даже маленьких успехах. На данный момент автоматизация научных исследований не работает вообще. Использование искусственного интеллекта не упрощает процессы, а, напротив, генерирует дополнительные сложности.



Во-первых, нейросети склонны ошибаться. Это значит, что за ними должны проверять живые ученые. И получается, если бы человек делал все исследование сам, то на это ушло бы гораздо меньше времени.

Во-вторых, когда вместо ученых научные статьи начнёт писать ИИ, придется увеличить штат научных редакторов и рецензентов. Да и работы им прибавится на порядок.

Но самое главное и печальное — искусственный интеллект банально не способен генерировать новые научные идеи. К тому же глубина анализа в работах от ИИ, мягко говоря, смехотворна. К примеру, многие, кто попробовал модель The AI Scientist, потом говорили, что японская нейросеть генерирует откровенный мусор.

И так будет, пока не изменится парадигма больших языковых моделей, на основе которых работают ИИ типа The AI Scientist. Такие системы способны только предлагать варианты существующих научных идей. Однако дать оценку их полезности и потенциалу нынешние нейросети, увы, не могут.

Чтобы сделать новое прорывное открытие, нужен настоящий человеческий интеллект. Впрочем, разработчики из The AI Scientist это отлично понимают и не скрывают ограниченность своей системы.