Как ChatGPT и другие большие языковые модели помогают бороться с дезинформацией
Большие языковые модели (LLM) способны быстро генерировать тексты, которые бывает трудно отличить от написанных людьми. Эти модели стали все более популярными после публичного релиза ChatGPT — высокоэффективной LLM, разработанной OpenAI.
Последние исследования, оценивающие LLM, в основном тестировали их способность создавать хорошо написанные тексты: эссе, документы или, к примеру, эффективный компьютерный код. Но помимо этого языковые модели потенциально могут помочь людям с решением проблемы дезинформации в СМИ.
Кевин Матте Карамансьон, исследователь из Университета Висконсин в Стаут, провел исследование, оценивающее способность самых известных больших языковых моделей определять, является ли новость правдивой или фальшивой. Результаты его работы могут способствовать будущему использованию LLM для борьбы с дезинформацией в интернете.
— Кевин Матте Карамансьон
Исследователи оценили производительность больших языковых моделей, используя тестовый набор из 100 проверенных фактов новостных материалов от независимых факт-чекеров. Затем они представили каждый из этих новостных материалов моделям в контролируемых условиях, а после классифицировали их ответы на одну из трех категорий: «Правда», «Ложь» и «Частично Правда/Ложь». Эффективность моделей измерялась на основе того, насколько точно они классифицировали материалы по сравнению с независимыми агентствами.
В исследовании были использованы четыре LLM: Chat GPT-3.0 и Chat GPT-4.0 от Open AI, Bard/LaMDA от Google и Bing AI от Microsoft. Ученый дал этим моделям одни и те же новостные материалы, которые были предварительно проверены, и затем сравнил способность определять достоверность информации.
— Кевин Матте Карамансьон.
Исследователь подчеркнул, что планирует продолжать тестирования, изучать новые LLM и взаимодействие между когнитивными способностями человека и технологией ИИ в области проверки фактов из СМИ.
Последние исследования, оценивающие LLM, в основном тестировали их способность создавать хорошо написанные тексты: эссе, документы или, к примеру, эффективный компьютерный код. Но помимо этого языковые модели потенциально могут помочь людям с решением проблемы дезинформации в СМИ.
Кевин Матте Карамансьон, исследователь из Университета Висконсин в Стаут, провел исследование, оценивающее способность самых известных больших языковых моделей определять, является ли новость правдивой или фальшивой. Результаты его работы могут способствовать будущему использованию LLM для борьбы с дезинформацией в интернете.
Вдохновением для моей последней статьи послужила необходимость понять возможности и ограничения различных LLM в борьбе с дезинформацией. Цель работы — тщательно проверить умение этих моделей различать факты от вымысла, используя контролируемую симуляцию и проверенные факты в качестве примера.
— Кевин Матте Карамансьон
Исследователи оценили производительность больших языковых моделей, используя тестовый набор из 100 проверенных фактов новостных материалов от независимых факт-чекеров. Затем они представили каждый из этих новостных материалов моделям в контролируемых условиях, а после классифицировали их ответы на одну из трех категорий: «Правда», «Ложь» и «Частично Правда/Ложь». Эффективность моделей измерялась на основе того, насколько точно они классифицировали материалы по сравнению с независимыми агентствами.
В исследовании были использованы четыре LLM: Chat GPT-3.0 и Chat GPT-4.0 от Open AI, Bard/LaMDA от Google и Bing AI от Microsoft. Ученый дал этим моделям одни и те же новостные материалы, которые были предварительно проверены, и затем сравнил способность определять достоверность информации.
Мы провели сравнительную оценку основных LLM на предмет способности различать правду от обмана. Было обнаружено, что Chat GPT-4.0 от OpenAI превосходит аналоги. Тем не менее, все языковые модели гораздо хуже людей в факт-чекинге, что подчеркивает незаменимость когнитивных способностей человека. Эти результаты могут привести к развитию возможностей ИИ в области проверки фактов при обеспечении сбалансированной, симбиотической интеграции с навыками человека.
— Кевин Матте Карамансьон.
Исследователь подчеркнул, что планирует продолжать тестирования, изучать новые LLM и взаимодействие между когнитивными способностями человека и технологией ИИ в области проверки фактов из СМИ.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Таинственная «дверь» обнаружена в Антарктиде
Теория заговора против официальной науки: кто окажется прав?...
15 000 американских городов станут призраками в ближайшие десятилетия
Ученые уверены, что «там просто некому будет жить»....
Не по вкусу: комары пьют кровь не у всех подряд
Полезно понимать для защиты от опасных насекомых....
НЛО управляют армией беспилотников, которые следят за военными базами США
Загадочные дроны буквально терроризируют американских военных летчиков....
Странный случай: укус змеи подействовал на австралийца спустя 15 часов
Только 10% укушенных на самом деле получают дозу яда....
Собаки поднялись на новую ступень эволюции
Третья стадия одомашнивания — что это значит?...
20 млн жителей США могут остаться без воды
Великие озера поразила небывалая засуха....
Первые оседлые люди в Европе: в Сербии обнаружили дом возрастом 8000 лет
Обгорелое жилище перевернуло представления о ранних поселенцах....
Вспененный гель быстро останавливает кровотечение и снижает риск заражения
Учёные изобрели спасающую жизнь «повязку»....
Кошки могут понимать многие слова
Но для экспериментов голос хозяина произносил бессмыслицу....
Google срочно переходит на атомную энергию
АЭС опасны, но у Америки просто нет выхода....
Первая частная космическая станция появится на орбите в 2025 году
Комплекс, созданный с учетом проблем астронавтов, потянул на миллиард долларов....
Американские ученые отрицают ускорение глобального потепления
Формально, так и есть, но это ещё не всё....
Окаменелости в Индии рассказали о самом раннем случае разделки слонов людьми
Это произошло не менее 300 тысяч лет назад....
Детекторы ИИ ложно обвинили студентов в плагиате
Ничто не ново на всё 100%....
Режиссер фильма «Я, робот» утверждает, что Илон Маск крадет его идеи
Смех смехом, но новые проекты Маска удивительно похожи на кадры из фильма....