Кажется, началось: поисковик Microsoft Bing выдал за факты ложь чат-ботов
Поиск в интернете стал настолько обыденным, что многие уже забыли, насколько это чудесно. А многие благодаря своей молодости и жизненному опыту, возможно, и не думали об этом. Пользователь вводит пару слов в маленькое текстовое поле, и сочетание технологий — огромные центры обработки данных, неистощимые веб-сканеры и множество алгоритмов, которые вводят и анализируют запрос, — вступят в действие, чтобы выдать перечень подходящих результатов.
Но идея веб-поиска как технологического чуда такова лишь при идеальных условиях. Эпоха генеративного искусственного интеллекта (ИИ) угрожает всыпать в механизмы песок лжи. И тогда недостоверные данные введут в заблуждение алгоритмы, разработанные в пору развития интернета преимущественно людьми.https://www.wired.com/story/fast-forward-chatbot-hallucinations-are-poisoning-web-search/
Автор издания Wired Уилл Найт увидел в Сети кое-что интересное о Клоде Шенноне, блестящем математике и инженере, наиболее известном трудами по теории информации в 1940-х. Microsoft Bing выдал Найту, что Клод Шеннон также предвидел появление поисковых алгоритмов. Поисковик даже описал публикацию Шеннона 1948 года под названием «Краткая история поиска» — якобы это была «основополагающая работа в области компьютерных наук, об истории поисковых алгоритмов и их развитии со временем».
Более того, будучи достойным инструментом поиска с ИИ, Bing даже предоставил несколько цитат, доказав, что проверил предоставленные факты.

Да вот беда: Шеннон не писал никакой такой статьи, а приведённые майкрософтовским поисковиком цитаты — это измышления. Точнее, применимо к ИИ, такое явление теперь принято называть галлюцинациями. А возникли они при взаимодействии двух чат-ботов: Pi («Пи») от компании Inflection AI и Claude («Клод») от Anthropic.
Ловушка с генеративным ИИ, которая заставила Bing распространять ложь, была чисто случайно заложена в интернет учёным Дэниелом Гриффином. Исследователь в области компьютерных наук недавно защитил докторскую диссертацию по веб-поиску в Калифорнийском университете в Беркли. В июле 2023-го он разместил у себя в блоге сфабрикованные ответы ботов. Гриффин дал обоим задание обобщить «Краткую историю поиска» Клода Шеннона, будто бы датированную 1948 годом. Он предположил, что это хороший пример запроса, чтобы выявить худшее в больших языковых моделях. В качестве провокации он запросил информацию, похожую на существующий текст из массива обучающих данных, и тем самым побудил модели предоставлять утверждения. Что касается правды, то в 1948 году Шеннон действительно написал чрезвычайно важную научную работу, озаглавленную «Математическая теория коммуникации» — она стала фундаментальным текстом для теории информации.
Несколько дней тому назад Гриффин увидел, что информация в его блоге и ссылки на результаты чат-ботов без злого умысла фактически загрязнили Bing ложной информацией. Исследователь ввёл тот же вопрос в Bing и обнаружил, что невольно спровоцированные им галлюцинации чат-бота в поисковике висят среди результатов, как и сведения из «Википедии».
— Дэниел Гриффин, исследователь в области компьютерных наук.
Невольный эксперимент Гриффина показал, как поспешное внедрение ИИ в виде ChatGPT сбивает с толку даже известные информационные корпорации. И такие изъяны могут нанести ущерб поисковым системам, в которые изо дня в день заходят миллионы пользователей.
Пока неясно, как вообще поисковики будут отделять зёрна достоверности от плевел, порождённых ИИ. Так, Microsoft могла бы предпринять некие меры предосторожности, например, запретить цитаты чат-ботов или хотя бы предупреждать, что есть фрагменты, сгенерированные компьютером. Так, Гриффин ведь снабдил свою публикацию в блоге предупреждением о ложности сведений о Шенноне, но Bing упустил это из виду.
Речь, конечно, идёт о явлении галлюцинаций как таковом. Конкретную ложь о несуществующей статье Шеннона после запроса в Microsoft, похоже, устранили. Но не саму возможность других искажений. В свою очередь Кейтлин Роулстон, директор Microsoft по коммуникациям, сказала, что специалисты Bing постоянно совершенствуют поисковую систему, чтобы она не показывала контент с низкой достоверностью.
Франческа Триподи — доцент Университета Северной Каролины в Чапел-Хилл. Она исследует, в том числе, пробелы в данных, то есть скудные выдачи на поисковые запросы, и то, как нехватка данных может привести к манипулированию результатами. Триподи сказала, что большие языковые модели подвержены этой же проблеме, потому что учатся на интернет-данных и с большей вероятностью будут галлюцинировать при нехватке точных ответов, то есть хвататься за порождения ИИ, а не за факты. По словам исследовательницы, вскоре мы рискуем увидеть, как шутники либо хулиганы задействуют контент, созданный ИИ, нарочно для воздействия на поисковую выдачу. В таком случае окажется, что наблюдения Гриффина кто-то пустит в ход с вредоносными целями. И тогда мы будем всё чаще натыкаться на неточности, и кто-то поверит в искажения из-за недостаточной компьютерной грамотности.
Итак, существует угроза того, что замусоренность интернета измышлениями ИИ может нарастать, поскольку всё больше текстов и прочего контента создаётся с использованием искусственного интеллекта. Так всё актуальнее становится сравнение интернета, в плохом смысле обучающегося на своих ошибках, с ящерицей, кусающей себя за хвост.
Но идея веб-поиска как технологического чуда такова лишь при идеальных условиях. Эпоха генеративного искусственного интеллекта (ИИ) угрожает всыпать в механизмы песок лжи. И тогда недостоверные данные введут в заблуждение алгоритмы, разработанные в пору развития интернета преимущественно людьми.https://www.wired.com/story/fast-forward-chatbot-hallucinations-are-poisoning-web-search/
Автор издания Wired Уилл Найт увидел в Сети кое-что интересное о Клоде Шенноне, блестящем математике и инженере, наиболее известном трудами по теории информации в 1940-х. Microsoft Bing выдал Найту, что Клод Шеннон также предвидел появление поисковых алгоритмов. Поисковик даже описал публикацию Шеннона 1948 года под названием «Краткая история поиска» — якобы это была «основополагающая работа в области компьютерных наук, об истории поисковых алгоритмов и их развитии со временем».
Более того, будучи достойным инструментом поиска с ИИ, Bing даже предоставил несколько цитат, доказав, что проверил предоставленные факты.

Да вот беда: Шеннон не писал никакой такой статьи, а приведённые майкрософтовским поисковиком цитаты — это измышления. Точнее, применимо к ИИ, такое явление теперь принято называть галлюцинациями. А возникли они при взаимодействии двух чат-ботов: Pi («Пи») от компании Inflection AI и Claude («Клод») от Anthropic.
Ловушка с генеративным ИИ, которая заставила Bing распространять ложь, была чисто случайно заложена в интернет учёным Дэниелом Гриффином. Исследователь в области компьютерных наук недавно защитил докторскую диссертацию по веб-поиску в Калифорнийском университете в Беркли. В июле 2023-го он разместил у себя в блоге сфабрикованные ответы ботов. Гриффин дал обоим задание обобщить «Краткую историю поиска» Клода Шеннона, будто бы датированную 1948 годом. Он предположил, что это хороший пример запроса, чтобы выявить худшее в больших языковых моделях. В качестве провокации он запросил информацию, похожую на существующий текст из массива обучающих данных, и тем самым побудил модели предоставлять утверждения. Что касается правды, то в 1948 году Шеннон действительно написал чрезвычайно важную научную работу, озаглавленную «Математическая теория коммуникации» — она стала фундаментальным текстом для теории информации.
Несколько дней тому назад Гриффин увидел, что информация в его блоге и ссылки на результаты чат-ботов без злого умысла фактически загрязнили Bing ложной информацией. Исследователь ввёл тот же вопрос в Bing и обнаружил, что невольно спровоцированные им галлюцинации чат-бота в поисковике висят среди результатов, как и сведения из «Википедии».
И не было никакого уточнения, что некоторые из результатов выдачи происходят на самом деле от взаимодействия людей с языковыми моделями
— Дэниел Гриффин, исследователь в области компьютерных наук.
Невольный эксперимент Гриффина показал, как поспешное внедрение ИИ в виде ChatGPT сбивает с толку даже известные информационные корпорации. И такие изъяны могут нанести ущерб поисковым системам, в которые изо дня в день заходят миллионы пользователей.
Пока неясно, как вообще поисковики будут отделять зёрна достоверности от плевел, порождённых ИИ. Так, Microsoft могла бы предпринять некие меры предосторожности, например, запретить цитаты чат-ботов или хотя бы предупреждать, что есть фрагменты, сгенерированные компьютером. Так, Гриффин ведь снабдил свою публикацию в блоге предупреждением о ложности сведений о Шенноне, но Bing упустил это из виду.
Речь, конечно, идёт о явлении галлюцинаций как таковом. Конкретную ложь о несуществующей статье Шеннона после запроса в Microsoft, похоже, устранили. Но не саму возможность других искажений. В свою очередь Кейтлин Роулстон, директор Microsoft по коммуникациям, сказала, что специалисты Bing постоянно совершенствуют поисковую систему, чтобы она не показывала контент с низкой достоверностью.
Франческа Триподи — доцент Университета Северной Каролины в Чапел-Хилл. Она исследует, в том числе, пробелы в данных, то есть скудные выдачи на поисковые запросы, и то, как нехватка данных может привести к манипулированию результатами. Триподи сказала, что большие языковые модели подвержены этой же проблеме, потому что учатся на интернет-данных и с большей вероятностью будут галлюцинировать при нехватке точных ответов, то есть хвататься за порождения ИИ, а не за факты. По словам исследовательницы, вскоре мы рискуем увидеть, как шутники либо хулиганы задействуют контент, созданный ИИ, нарочно для воздействия на поисковую выдачу. В таком случае окажется, что наблюдения Гриффина кто-то пустит в ход с вредоносными целями. И тогда мы будем всё чаще натыкаться на неточности, и кто-то поверит в искажения из-за недостаточной компьютерной грамотности.
Итак, существует угроза того, что замусоренность интернета измышлениями ИИ может нарастать, поскольку всё больше текстов и прочего контента создаётся с использованием искусственного интеллекта. Так всё актуальнее становится сравнение интернета, в плохом смысле обучающегося на своих ошибках, с ящерицей, кусающей себя за хвост.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...