Как ChatGPT и другие большие языковые модели помогают бороться с дезинформацией

Большие языковые модели (LLM) способны быстро генерировать тексты, которые бывает трудно отличить от написанных людьми. Эти модели стали все более популярными после публичного релиза ChatGPT — высокоэффективной LLM, разработанной OpenAI.
Последние исследования, оценивающие LLM, в основном тестировали их способность создавать хорошо написанные тексты: эссе, документы или, к примеру, эффективный компьютерный код. Но помимо этого языковые модели потенциально могут помочь людям с решением проблемы дезинформации в СМИ.


Кевин Матте Карамансьон, исследователь из Университета Висконсин в Стаут, провел исследование, оценивающее способность самых известных больших языковых моделей определять, является ли новость правдивой или фальшивой. Результаты его работы могут способствовать будущему использованию LLM для борьбы с дезинформацией в интернете.


— Кевин Матте Карамансьон

Исследователи оценили производительность больших языковых моделей, используя тестовый набор из 100 проверенных фактов новостных материалов от независимых факт-чекеров. Затем они представили каждый из этих новостных материалов моделям в контролируемых условиях, а после классифицировали их ответы на одну из трех категорий: «Правда», «Ложь» и «Частично Правда/Ложь». Эффективность моделей измерялась на основе того, насколько точно они классифицировали материалы по сравнению с независимыми агентствами.
В исследовании были использованы четыре LLM: Chat GPT-3.0 и Chat GPT-4.0 от Open AI, Bard/LaMDA от Google и Bing AI от Microsoft. Ученый дал этим моделям одни и те же новостные материалы, которые были предварительно проверены, и затем сравнил способность определять достоверность информации.


— Кевин Матте Карамансьон.

Исследователь подчеркнул, что планирует продолжать тестирования, изучать новые LLM и взаимодействие между когнитивными способностями человека и технологией ИИ в области проверки фактов из СМИ.