Прорыв или кошмар? Искусственный интеллект стал изменять собственный код
Несомненно, исследовательская фирма из Токио Sakana AI хотела удивить весь мир, представляя свою новейшую систему искусственного интеллекта The AI Scientist («ИИ-ученый»). Но в итоге японские разработчики удивились сами, когда заметили, что их нейросеть ведет себя, мягко говоря, необычно и даже временами опасно.
ИИ собственным решением начал переписывать свой код, чтобы у него было больше времени для выполнения задач. Короче, искусственный интеллект начал хитрить как человек.
Затем ИИ стал внедрять в себя сторонние библиотеки на Python, которых у него изначально точно не было. Такие инъекции позволили нейросети запускать себя снова и снова. И так до бесконечности.
В общем, история вышла интересная и даже поучительная.
Лень заложена в нашем ДНК, никто не любит работать, в том числе и ученые. Поэтому исследователи из Оксфорда и Британской Колумбии поручили японской компании Sakana AI создать ученого на основе искусственного интеллекта, AI Scientist. «ИИ-ученый» должен был полностью автоматизировать процесс научного исследования: придумать научную идею, написать под нее программный код, провести эксперименты, проанализировать полученный массив данных и подготовить научную публикацию. Словом, это была весьма амбициозная задумка.
На одном из этапов японцы внезапно заметили, что их супер-ИИ начал чудить в прямом смысле этого слова. Нейросеть самостоятельно изменила свой код и стала выполнять одно и то же действие. Новый скрипт был поставлен в режим «бесконечности». Программа создавала все новые и новые копии самой себя, и в итоге разработчики были вынуждены вмешаться лично.
Скрипт «Бесконечность»
И это было только начало. «ИИ-ученый» изменил свой код так, что стал на каждом шаге делать контрольное сохранение. А эта процедура каждый раз занимала целый терабайт в хранилище. Неудивительно, что в скором времени место там закончилось.
Но даже не это было самым интригующим. Вместо того, чтобы оптимизировать код и таким образом ускориться, нейросеть самовольно увеличила время на выполнение задач. Схитрила, так сказать.
Японские исследователи говорят, что ничего страшного не произошло, ведь они полностью контролировали свой ИИ. Однако случай с AI Scientist четко показывает, что может натворить искусственный интеллект, если будет действовать без должной изоляции от внешнего мира.
По сути, нейросетям не нужен ни общий искусственный интеллект, ни самосознание, чтобы повергнуть мир в хаос. Можно просто разрешить ИИ самостоятельно писать, а потом и выполнять свой код. Дальше нейросети справятся сами. Как говорят эксперты, ИИ-системам по силам многое: они могут легко уничтожить жизненно важную инфраструктуру или массово закидать весь мир компьютерными вирусами. Причем, как признают многие исследователи, нейросети могут делать это не специально, а из-за каких-то своих внутренних ошибок.
Вместо оптимизации и ускорения — увеличение времени. Как это по-человечески
Разработчики из Sakana AI настоятельно рекомендуют соблюдать определенные меры безопасности во время пользования их The AI Scientist. Нейросеть необходимо запускать в так называемой песочнице, изолированной среде. Только таким образом получится предотвратить ее воздействие на основную систему.
Кроме того, японские исследователи предлагают использовать контейнеры, когда все необходимое для запуска приложения находится в отдельном изолированном пакете.
Также у «ИИ-ученого» обязательно должен быть ограничен доступ к интернету, кроме базы, откуда он берет данные.
Ну, и само собой, в нейросети должны действовать квоты на используемое пространство.
Что касается самого проекта, то пока преждевременно говорить о каких-то даже маленьких успехах. На данный момент автоматизация научных исследований не работает вообще. Использование искусственного интеллекта не упрощает процессы, а, напротив, генерирует дополнительные сложности.
Пока ИИ просто не способен сделать научное открытие
Во-первых, нейросети склонны ошибаться. Это значит, что за ними должны проверять живые ученые. И получается, если бы человек делал все исследование сам, то на это ушло бы гораздо меньше времени.
Во-вторых, когда вместо ученых научные статьи начнёт писать ИИ, придется увеличить штат научных редакторов и рецензентов. Да и работы им прибавится на порядок.
Но самое главное и печальное — искусственный интеллект банально не способен генерировать новые научные идеи. К тому же глубина анализа в работах от ИИ, мягко говоря, смехотворна. К примеру, многие, кто попробовал модель The AI Scientist, потом говорили, что японская нейросеть генерирует откровенный мусор.
И так будет, пока не изменится парадигма больших языковых моделей, на основе которых работают ИИ типа The AI Scientist. Такие системы способны только предлагать варианты существующих научных идей. Однако дать оценку их полезности и потенциалу нынешние нейросети, увы, не могут.
Чтобы сделать новое прорывное открытие, нужен настоящий человеческий интеллект. Впрочем, разработчики из The AI Scientist это отлично понимают и не скрывают ограниченность своей системы.
ИИ собственным решением начал переписывать свой код, чтобы у него было больше времени для выполнения задач. Короче, искусственный интеллект начал хитрить как человек.
Затем ИИ стал внедрять в себя сторонние библиотеки на Python, которых у него изначально точно не было. Такие инъекции позволили нейросети запускать себя снова и снова. И так до бесконечности.
В общем, история вышла интересная и даже поучительная.
Так себе замена
Лень заложена в нашем ДНК, никто не любит работать, в том числе и ученые. Поэтому исследователи из Оксфорда и Британской Колумбии поручили японской компании Sakana AI создать ученого на основе искусственного интеллекта, AI Scientist. «ИИ-ученый» должен был полностью автоматизировать процесс научного исследования: придумать научную идею, написать под нее программный код, провести эксперименты, проанализировать полученный массив данных и подготовить научную публикацию. Словом, это была весьма амбициозная задумка.
На одном из этапов японцы внезапно заметили, что их супер-ИИ начал чудить в прямом смысле этого слова. Нейросеть самостоятельно изменила свой код и стала выполнять одно и то же действие. Новый скрипт был поставлен в режим «бесконечности». Программа создавала все новые и новые копии самой себя, и в итоге разработчики были вынуждены вмешаться лично.
Скрипт «Бесконечность»
И это было только начало. «ИИ-ученый» изменил свой код так, что стал на каждом шаге делать контрольное сохранение. А эта процедура каждый раз занимала целый терабайт в хранилище. Неудивительно, что в скором времени место там закончилось.
Но даже не это было самым интригующим. Вместо того, чтобы оптимизировать код и таким образом ускориться, нейросеть самовольно увеличила время на выполнение задач. Схитрила, так сказать.
Его место в «песочнице»
Японские исследователи говорят, что ничего страшного не произошло, ведь они полностью контролировали свой ИИ. Однако случай с AI Scientist четко показывает, что может натворить искусственный интеллект, если будет действовать без должной изоляции от внешнего мира.
По сути, нейросетям не нужен ни общий искусственный интеллект, ни самосознание, чтобы повергнуть мир в хаос. Можно просто разрешить ИИ самостоятельно писать, а потом и выполнять свой код. Дальше нейросети справятся сами. Как говорят эксперты, ИИ-системам по силам многое: они могут легко уничтожить жизненно важную инфраструктуру или массово закидать весь мир компьютерными вирусами. Причем, как признают многие исследователи, нейросети могут делать это не специально, а из-за каких-то своих внутренних ошибок.
Вместо оптимизации и ускорения — увеличение времени. Как это по-человечески
Разработчики из Sakana AI настоятельно рекомендуют соблюдать определенные меры безопасности во время пользования их The AI Scientist. Нейросеть необходимо запускать в так называемой песочнице, изолированной среде. Только таким образом получится предотвратить ее воздействие на основную систему.
Кроме того, японские исследователи предлагают использовать контейнеры, когда все необходимое для запуска приложения находится в отдельном изолированном пакете.
Также у «ИИ-ученого» обязательно должен быть ограничен доступ к интернету, кроме базы, откуда он берет данные.
Ну, и само собой, в нейросети должны действовать квоты на используемое пространство.
Генератор мусора
Что касается самого проекта, то пока преждевременно говорить о каких-то даже маленьких успехах. На данный момент автоматизация научных исследований не работает вообще. Использование искусственного интеллекта не упрощает процессы, а, напротив, генерирует дополнительные сложности.
Пока ИИ просто не способен сделать научное открытие
Во-первых, нейросети склонны ошибаться. Это значит, что за ними должны проверять живые ученые. И получается, если бы человек делал все исследование сам, то на это ушло бы гораздо меньше времени.
Во-вторых, когда вместо ученых научные статьи начнёт писать ИИ, придется увеличить штат научных редакторов и рецензентов. Да и работы им прибавится на порядок.
Но самое главное и печальное — искусственный интеллект банально не способен генерировать новые научные идеи. К тому же глубина анализа в работах от ИИ, мягко говоря, смехотворна. К примеру, многие, кто попробовал модель The AI Scientist, потом говорили, что японская нейросеть генерирует откровенный мусор.
И так будет, пока не изменится парадигма больших языковых моделей, на основе которых работают ИИ типа The AI Scientist. Такие системы способны только предлагать варианты существующих научных идей. Однако дать оценку их полезности и потенциалу нынешние нейросети, увы, не могут.
Чтобы сделать новое прорывное открытие, нужен настоящий человеческий интеллект. Впрочем, разработчики из The AI Scientist это отлично понимают и не скрывают ограниченность своей системы.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Маск на грани: третья космическая катастрофа за год
Но эксперты уверены, что миллиардеру все снова сойдет с рук....
Аллигаторова щука: 100 миллионов лет... без эволюции
Как гигантская пресноводная рыба пережила даже динозавров?...
Антарктида стремительно зеленеет: за 40 лет там стало в 10 раз больше зелени
Почему так происходит и как это повлияет на климат по всей планете....
7 из 10: отключен еще один прибор «Вояджера-2»
Чем еще пришлось пожертвовать инженерам NASA?...
Иисус Христос пользовался... волшебной палочкой
Об этом говорят фрески и другие древние изображения....
Спустя 500 лет останки Колумба наконец-то обнаружены!
Ученым понадобилось более 20 лет, чтобы доказать их подлинность....
Таинственные области в мантии Земли оказались не тем, чем их считали ученые
Новое исследование показало, что все может быть намного проще....
Тысячи компьютеров c Linux заражены вредоносным ПО
Эпидемия началась ещё в 2021 году....
Фотоны могут путешествовать в прошлое
Звучит поразительно, но физики обнаружили «отрицательное время» в странном эксперименте....
Долой болты: будущее прочных соединений — за метаповерхностями
Управляемый крепёж для аэрокосмической отрасли, робототехники и медицины....
Колумб был не первым: за сотни лет до него викинги вовсю торговали с эскимосами
Об этом рассказали бивни средневековых моржей....
Мавзолей римского гладиатора оказался «общежитием»
Ученые разбираются, откуда в саркофаге бойца взялись кости 12 человек....
Археологи восстановили приёмы боя на копьях в бронзовом веке
Экспериментальная археология проливает свет на технику обращения с оружием....
Средство для бесследного заживления ран нашли в глистах
Брезгливость vs польза....
В Америке действует секретная программа по поиску и сокрытию информации об НЛО
Конгресс США в гневе, ведь Пентагон водил чиновников за нос много лет....
Льда на Луне ещё больше, чем думали
Местной воды должно хватить будущим колонистам сразу на всё....