ВСЛУХ

Исследователи Стэнфордского университета разработали индекс "прозрачности" для больших языковых моделей

Исследователи Стэнфордского университета разработали индекс "прозрачности" для больших языковых моделей
Исследователи из Стэнфордского университета разработали индекс прозрачности больших языковых моделей (LLM), по которому были оценены 10 ведущих компаний в области ИИ. Наивысший балл, 54%, был присужден модели Llama 2, запущенной компанией Meta в июле. GPT-4, флагманская модель от компании OpenAI, ныне поддерживаемой Microsoft и создавшей известный чат-бот Chat GPT, заняла третье место с результатом 48%. AI-модель от Google, PaLM 2, заняла пятое место с 40%, опередив модель Claude 2 от Anthropic (принадлежит Amazon) с 36%.


По словам ученых, недостаток прозрачности затрудняет создание эффективных инструментов в области регулирования LLM, а также мешает оценивать ограничения языковых моделей. Риши Боммасани, учёный Центра исследований базовых моделей Стэнфорда, утверждает, что компаниям следует стремиться к показателям между 80 и 100%.

Если у LLM нет прозрачности, то это значит что мы даже не можем задать правильные вопросы, не говоря уже о том, чтобы принимать меры

—Риши Боммасани, учёный Центра исследований базовых моделей Стэнфорда.

ИИ и политика


Появление ИИ вызвало как восторг от открывшихся технологических возможностей, так и опасения о возможном влиянии на общество. В исследовании говорится, что ни одна из компаний не предоставляет информацию о том, сколько людей работают с их LLM и как именно они используются. Более того, большинство не раскрывает, сколько авторских материалов использовано в их моделях.

ЕС активно работает над регулированием ИИ и планирует одобрить первый в мире закон в этой области до конца года, а Великобритания проведет международный саммит по этому вопросу в ноябре.

Прозрачность — ключевой приоритет для многих законодателей в ЕС, США, Великобритании, Китае, Канаде и многих других странах.

—Риши Боммасани.

Автор:

Использованы фотографии: tecxplore

Мы в Мы в Яндекс Дзен
Искусственный интеллект Клод из Anthropic может проанализировать книгу за считанные секундыAnthropic представила «Клода», вероятного конкурента ChatGPT

GPS, давай, до свидания?

GPS, давай, до свидания?

В Англии протестировали первую в истории систему квантовой навигации. Вроде бы успешно....
  • 790