Как ChatGPT и другие большие языковые модели помогают бороться с дезинформацией
Большие языковые модели (LLM) способны быстро генерировать тексты, которые бывает трудно отличить от написанных людьми. Эти модели стали все более популярными после публичного релиза ChatGPT — высокоэффективной LLM, разработанной OpenAI.
Последние исследования, оценивающие LLM, в основном тестировали их способность создавать хорошо написанные тексты: эссе, документы или, к примеру, эффективный компьютерный код. Но помимо этого языковые модели потенциально могут помочь людям с решением проблемы дезинформации в СМИ.
Кевин Матте Карамансьон, исследователь из Университета Висконсин в Стаут, провел исследование, оценивающее способность самых известных больших языковых моделей определять, является ли новость правдивой или фальшивой. Результаты его работы могут способствовать будущему использованию LLM для борьбы с дезинформацией в интернете.
— Кевин Матте Карамансьон
Исследователи оценили производительность больших языковых моделей, используя тестовый набор из 100 проверенных фактов новостных материалов от независимых факт-чекеров. Затем они представили каждый из этих новостных материалов моделям в контролируемых условиях, а после классифицировали их ответы на одну из трех категорий: «Правда», «Ложь» и «Частично Правда/Ложь». Эффективность моделей измерялась на основе того, насколько точно они классифицировали материалы по сравнению с независимыми агентствами.
В исследовании были использованы четыре LLM: Chat GPT-3.0 и Chat GPT-4.0 от Open AI, Bard/LaMDA от Google и Bing AI от Microsoft. Ученый дал этим моделям одни и те же новостные материалы, которые были предварительно проверены, и затем сравнил способность определять достоверность информации.
— Кевин Матте Карамансьон.
Исследователь подчеркнул, что планирует продолжать тестирования, изучать новые LLM и взаимодействие между когнитивными способностями человека и технологией ИИ в области проверки фактов из СМИ.
Последние исследования, оценивающие LLM, в основном тестировали их способность создавать хорошо написанные тексты: эссе, документы или, к примеру, эффективный компьютерный код. Но помимо этого языковые модели потенциально могут помочь людям с решением проблемы дезинформации в СМИ.
Кевин Матте Карамансьон, исследователь из Университета Висконсин в Стаут, провел исследование, оценивающее способность самых известных больших языковых моделей определять, является ли новость правдивой или фальшивой. Результаты его работы могут способствовать будущему использованию LLM для борьбы с дезинформацией в интернете.
Вдохновением для моей последней статьи послужила необходимость понять возможности и ограничения различных LLM в борьбе с дезинформацией. Цель работы — тщательно проверить умение этих моделей различать факты от вымысла, используя контролируемую симуляцию и проверенные факты в качестве примера.
— Кевин Матте Карамансьон
Исследователи оценили производительность больших языковых моделей, используя тестовый набор из 100 проверенных фактов новостных материалов от независимых факт-чекеров. Затем они представили каждый из этих новостных материалов моделям в контролируемых условиях, а после классифицировали их ответы на одну из трех категорий: «Правда», «Ложь» и «Частично Правда/Ложь». Эффективность моделей измерялась на основе того, насколько точно они классифицировали материалы по сравнению с независимыми агентствами.
В исследовании были использованы четыре LLM: Chat GPT-3.0 и Chat GPT-4.0 от Open AI, Bard/LaMDA от Google и Bing AI от Microsoft. Ученый дал этим моделям одни и те же новостные материалы, которые были предварительно проверены, и затем сравнил способность определять достоверность информации.
Мы провели сравнительную оценку основных LLM на предмет способности различать правду от обмана. Было обнаружено, что Chat GPT-4.0 от OpenAI превосходит аналоги. Тем не менее, все языковые модели гораздо хуже людей в факт-чекинге, что подчеркивает незаменимость когнитивных способностей человека. Эти результаты могут привести к развитию возможностей ИИ в области проверки фактов при обеспечении сбалансированной, симбиотической интеграции с навыками человека.
— Кевин Матте Карамансьон.
Исследователь подчеркнул, что планирует продолжать тестирования, изучать новые LLM и взаимодействие между когнитивными способностями человека и технологией ИИ в области проверки фактов из СМИ.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...