Прорыв или кошмар? Искусственный интеллект стал изменять собственный код
Несомненно, исследовательская фирма из Токио Sakana AI хотела удивить весь мир, представляя свою новейшую систему искусственного интеллекта The AI Scientist («ИИ-ученый»). Но в итоге японские разработчики удивились сами, когда заметили, что их нейросеть ведет себя, мягко говоря, необычно и даже временами опасно.
ИИ собственным решением начал переписывать свой код, чтобы у него было больше времени для выполнения задач. Короче, искусственный интеллект начал хитрить как человек.
Затем ИИ стал внедрять в себя сторонние библиотеки на Python, которых у него изначально точно не было. Такие инъекции позволили нейросети запускать себя снова и снова. И так до бесконечности.
В общем, история вышла интересная и даже поучительная.
Лень заложена в нашем ДНК, никто не любит работать, в том числе и ученые. Поэтому исследователи из Оксфорда и Британской Колумбии поручили японской компании Sakana AI создать ученого на основе искусственного интеллекта, AI Scientist. «ИИ-ученый» должен был полностью автоматизировать процесс научного исследования: придумать научную идею, написать под нее программный код, провести эксперименты, проанализировать полученный массив данных и подготовить научную публикацию. Словом, это была весьма амбициозная задумка.
На одном из этапов японцы внезапно заметили, что их супер-ИИ начал чудить в прямом смысле этого слова. Нейросеть самостоятельно изменила свой код и стала выполнять одно и то же действие. Новый скрипт был поставлен в режим «бесконечности». Программа создавала все новые и новые копии самой себя, и в итоге разработчики были вынуждены вмешаться лично.
Скрипт «Бесконечность»
И это было только начало. «ИИ-ученый» изменил свой код так, что стал на каждом шаге делать контрольное сохранение. А эта процедура каждый раз занимала целый терабайт в хранилище. Неудивительно, что в скором времени место там закончилось.
Но даже не это было самым интригующим. Вместо того, чтобы оптимизировать код и таким образом ускориться, нейросеть самовольно увеличила время на выполнение задач. Схитрила, так сказать.
Японские исследователи говорят, что ничего страшного не произошло, ведь они полностью контролировали свой ИИ. Однако случай с AI Scientist четко показывает, что может натворить искусственный интеллект, если будет действовать без должной изоляции от внешнего мира.
По сути, нейросетям не нужен ни общий искусственный интеллект, ни самосознание, чтобы повергнуть мир в хаос. Можно просто разрешить ИИ самостоятельно писать, а потом и выполнять свой код. Дальше нейросети справятся сами. Как говорят эксперты, ИИ-системам по силам многое: они могут легко уничтожить жизненно важную инфраструктуру или массово закидать весь мир компьютерными вирусами. Причем, как признают многие исследователи, нейросети могут делать это не специально, а из-за каких-то своих внутренних ошибок.
Вместо оптимизации и ускорения — увеличение времени. Как это по-человечески
Разработчики из Sakana AI настоятельно рекомендуют соблюдать определенные меры безопасности во время пользования их The AI Scientist. Нейросеть необходимо запускать в так называемой песочнице, изолированной среде. Только таким образом получится предотвратить ее воздействие на основную систему.
Кроме того, японские исследователи предлагают использовать контейнеры, когда все необходимое для запуска приложения находится в отдельном изолированном пакете.
Также у «ИИ-ученого» обязательно должен быть ограничен доступ к интернету, кроме базы, откуда он берет данные.
Ну, и само собой, в нейросети должны действовать квоты на используемое пространство.
Что касается самого проекта, то пока преждевременно говорить о каких-то даже маленьких успехах. На данный момент автоматизация научных исследований не работает вообще. Использование искусственного интеллекта не упрощает процессы, а, напротив, генерирует дополнительные сложности.
Пока ИИ просто не способен сделать научное открытие
Во-первых, нейросети склонны ошибаться. Это значит, что за ними должны проверять живые ученые. И получается, если бы человек делал все исследование сам, то на это ушло бы гораздо меньше времени.
Во-вторых, когда вместо ученых научные статьи начнёт писать ИИ, придется увеличить штат научных редакторов и рецензентов. Да и работы им прибавится на порядок.
Но самое главное и печальное — искусственный интеллект банально не способен генерировать новые научные идеи. К тому же глубина анализа в работах от ИИ, мягко говоря, смехотворна. К примеру, многие, кто попробовал модель The AI Scientist, потом говорили, что японская нейросеть генерирует откровенный мусор.
И так будет, пока не изменится парадигма больших языковых моделей, на основе которых работают ИИ типа The AI Scientist. Такие системы способны только предлагать варианты существующих научных идей. Однако дать оценку их полезности и потенциалу нынешние нейросети, увы, не могут.
Чтобы сделать новое прорывное открытие, нужен настоящий человеческий интеллект. Впрочем, разработчики из The AI Scientist это отлично понимают и не скрывают ограниченность своей системы.
ИИ собственным решением начал переписывать свой код, чтобы у него было больше времени для выполнения задач. Короче, искусственный интеллект начал хитрить как человек.
Затем ИИ стал внедрять в себя сторонние библиотеки на Python, которых у него изначально точно не было. Такие инъекции позволили нейросети запускать себя снова и снова. И так до бесконечности.
В общем, история вышла интересная и даже поучительная.
Так себе замена
Лень заложена в нашем ДНК, никто не любит работать, в том числе и ученые. Поэтому исследователи из Оксфорда и Британской Колумбии поручили японской компании Sakana AI создать ученого на основе искусственного интеллекта, AI Scientist. «ИИ-ученый» должен был полностью автоматизировать процесс научного исследования: придумать научную идею, написать под нее программный код, провести эксперименты, проанализировать полученный массив данных и подготовить научную публикацию. Словом, это была весьма амбициозная задумка.
На одном из этапов японцы внезапно заметили, что их супер-ИИ начал чудить в прямом смысле этого слова. Нейросеть самостоятельно изменила свой код и стала выполнять одно и то же действие. Новый скрипт был поставлен в режим «бесконечности». Программа создавала все новые и новые копии самой себя, и в итоге разработчики были вынуждены вмешаться лично.
Скрипт «Бесконечность»
И это было только начало. «ИИ-ученый» изменил свой код так, что стал на каждом шаге делать контрольное сохранение. А эта процедура каждый раз занимала целый терабайт в хранилище. Неудивительно, что в скором времени место там закончилось.
Но даже не это было самым интригующим. Вместо того, чтобы оптимизировать код и таким образом ускориться, нейросеть самовольно увеличила время на выполнение задач. Схитрила, так сказать.
Его место в «песочнице»
Японские исследователи говорят, что ничего страшного не произошло, ведь они полностью контролировали свой ИИ. Однако случай с AI Scientist четко показывает, что может натворить искусственный интеллект, если будет действовать без должной изоляции от внешнего мира.
По сути, нейросетям не нужен ни общий искусственный интеллект, ни самосознание, чтобы повергнуть мир в хаос. Можно просто разрешить ИИ самостоятельно писать, а потом и выполнять свой код. Дальше нейросети справятся сами. Как говорят эксперты, ИИ-системам по силам многое: они могут легко уничтожить жизненно важную инфраструктуру или массово закидать весь мир компьютерными вирусами. Причем, как признают многие исследователи, нейросети могут делать это не специально, а из-за каких-то своих внутренних ошибок.
Вместо оптимизации и ускорения — увеличение времени. Как это по-человечески
Разработчики из Sakana AI настоятельно рекомендуют соблюдать определенные меры безопасности во время пользования их The AI Scientist. Нейросеть необходимо запускать в так называемой песочнице, изолированной среде. Только таким образом получится предотвратить ее воздействие на основную систему.
Кроме того, японские исследователи предлагают использовать контейнеры, когда все необходимое для запуска приложения находится в отдельном изолированном пакете.
Также у «ИИ-ученого» обязательно должен быть ограничен доступ к интернету, кроме базы, откуда он берет данные.
Ну, и само собой, в нейросети должны действовать квоты на используемое пространство.
Генератор мусора
Что касается самого проекта, то пока преждевременно говорить о каких-то даже маленьких успехах. На данный момент автоматизация научных исследований не работает вообще. Использование искусственного интеллекта не упрощает процессы, а, напротив, генерирует дополнительные сложности.
Пока ИИ просто не способен сделать научное открытие
Во-первых, нейросети склонны ошибаться. Это значит, что за ними должны проверять живые ученые. И получается, если бы человек делал все исследование сам, то на это ушло бы гораздо меньше времени.
Во-вторых, когда вместо ученых научные статьи начнёт писать ИИ, придется увеличить штат научных редакторов и рецензентов. Да и работы им прибавится на порядок.
Но самое главное и печальное — искусственный интеллект банально не способен генерировать новые научные идеи. К тому же глубина анализа в работах от ИИ, мягко говоря, смехотворна. К примеру, многие, кто попробовал модель The AI Scientist, потом говорили, что японская нейросеть генерирует откровенный мусор.
И так будет, пока не изменится парадигма больших языковых моделей, на основе которых работают ИИ типа The AI Scientist. Такие системы способны только предлагать варианты существующих научных идей. Однако дать оценку их полезности и потенциалу нынешние нейросети, увы, не могут.
Чтобы сделать новое прорывное открытие, нужен настоящий человеческий интеллект. Впрочем, разработчики из The AI Scientist это отлично понимают и не скрывают ограниченность своей системы.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Резкое сокращение численности летучих мышей вызвало смерти… тысяч американских детей
Зловещая взаимосвязь выявилась совсем недавно....
Ужас разгадки парадокса Ферми: А где все?!
Почему мы до сих пор не слышим голоса инопланетян?...
Японский угорь: съеден, но не сломлен
Обнаружен поразительный способ убегать даже из желудка хищника....
Лишь сегодня стало известно как именно ковка улучшает металл
Учёные пролили свет на универсальные механизмы деформационного упрочнения....
Крупные динозавры предпочитали Южный полюс
Как они выживали в морозы?...
Устройство причудливой формы признано самым креативным и полезным девайсом года
Большинство английских ученых пришли в восторг от этого прибора....
Утраченную технологию кораблестроения возрастом 3500 лет заново открыли в 1950-х
Догреческие жители Крита были удивительно искусными корабелами....
Пилотом США может оказаться любой дурак или террорист. Электроника не против
Используя баги, управлять самолетом может кто угодно....
Встретимся в «Кафе „Белая акула“»
Ученые открыли главный секрет самых больших хищных рыб....
Шнобелевскую премию присудили за ракеты с голубиным наведением и дышащих задом свиней
Сюр, достойный научной премии за сомнительные достижения....
Полиция США получила первую официальную инструкцию по НЛО
Копы должны разбираться в «тарелочках» и немедленно о них докладывать....
Интернет-кошмар для детей и подростков в Австралии
Правительство закрывает малолетним доступ к соцсетям....
Нога для робота с искусственными мышцами обскакала механические конечности
Имитировали живое с помощью электричества и гидравлики....
Ученые обнаружили «смайлик» на Марсе
Эта «улыбка» может намекать на научную сенсацию....
Деревяшка возрастом 1300 лет оказалась частью японской таблицы умножения
Но придумали такой «калькулятор» гораздо раньше — в Китае....
Кто достоин пособия: Теперь решает искусственный интелект
Суд не сможет отменить вероятные ошибки....