Исследователи Стэнфордского университета разработали индекс "прозрачности" для больших языковых моделей

Исследователи из Стэнфордского университета разработали индекс прозрачности больших языковых моделей (LLM), по которому были оценены 10 ведущих компаний в области ИИ. Наивысший балл, 54%, был присужден модели Llama 2, запущенной компанией Meta в июле. GPT-4, флагманская модель от компании OpenAI, ныне поддерживаемой Microsoft и создавшей известный чат-бот Chat GPT, заняла третье место с результатом 48%. AI-модель от Google, PaLM 2, заняла пятое место с 40%, опередив модель Claude 2 от Anthropic (принадлежит Amazon) с 36%.


По словам ученых, недостаток прозрачности затрудняет создание эффективных инструментов в области регулирования LLM, а также мешает оценивать ограничения языковых моделей. Риши Боммасани, учёный Центра исследований базовых моделей Стэнфорда, утверждает, что компаниям следует стремиться к показателям между 80 и 100%.


—Риши Боммасани, учёный Центра исследований базовых моделей Стэнфорда.

ИИ и политика

Появление ИИ вызвало как восторг от открывшихся технологических возможностей, так и опасения о возможном влиянии на общество. В исследовании говорится, что ни одна из компаний не предоставляет информацию о том, сколько людей работают с их LLM и как именно они используются. Более того, большинство не раскрывает, сколько авторских материалов использовано в их моделях.

ЕС активно работает над регулированием ИИ и планирует одобрить первый в мире закон в этой области до конца года, а Великобритания проведет международный саммит по этому вопросу в ноябре.


—Риши Боммасани.