![Тупой, но по-своему: психологические тесты разоблачили изъяны ИИ Тупой, но по-своему: психологические тесты разоблачили изъяны ИИ](/uploads/posts/2024-06/ai-generated-8666886_1280.webp)
Тупой, но по-своему: психологические тесты разоблачили изъяны ИИ
За популярными платформами генеративного искусственного интеллекта (ИИ) стоят большие языковые модели (LLM). С целью понять, как работает ИИ, учёные протестировали разные модели так называемых чат-ботов: GPT-4, GPT-3.5, Google Bard, Claude-2, Llama-2-7b, Llama-2-13b и Llama-2-70b. Если кратко, то все эти вариации ИИ давали разные ответы, когда их просили ответить на один и тот же тестовый вопрос. Причём они не давали более корректных ответов при добавлении дополнительных вводных. К такому выводу пришли исследователи из Университетского колледжа Лондона на основании работ своих американских коллег.
В научном журнале Royal Society Open Science («Королевское общество открытой науки») учёные описали, как специалисты тестировали передовые LLM с помощью тестов когнитивной психологии. То есть применили как «пробирный камень» научную дисциплину, ориентированную на эксперимент и математическое моделирование мышления. Целью экспериментов была оценка способности к рассуждению. Учёные стремились понять, как именно разные ИИ «думают», причём не только из чисто научного интереса. Важно уяснить, можно ли доверять искусственному интеллекту ответственные задачи, от которых зависит принятие соответствующих решений.
В последние годы становятся всё сложнее LLM, которые поддерживают генеративное программное обеспечение с ИИ, такие как ChatGPT. Их способность создавать тексты, изображения, аудио и видео даже воспринимаются как угроза для рабочих мест, вызывают опасении в смысле влияния на политические выборы и как вероятные «пособники» в криминале.
Однако всё чаще всплывают факты, роняющие авторитет такого ПО: ИИ регулярно фабрикуют вымыслы, реагируют непоследовательно и даже неправильно решают арифметические задачки.
Например, исследователи из Калифорнийского университета систематически анализировали, способны ли семь разных LLM рассуждать рационально. Они опирались на такое определение краеугольного термина: рассуждает ли кто-то или что-то в соответствии с правилами логики и с учётом вероятностей. Иррациональный интеллект неспособен к подобному.
В LLM «загрузили» набор из 12 распространённых тестов когнитивной психологии для оценки человеческой способности к рассуждениям. В числе контрольных заданий были, например, логическая задача выбора Уэйсона с четырьмя игральными картами; задача на когнитивное искажение, известная как проблема Линды, в которой всего-то две вероятности; связанный с теорией вероятности «парадокс Монти Холла», который по содержанию похож на наше «Поле чудес», только с тремя дверями вместо шкатулок. Кстати, у людей способность решать эти вроде бы незамысловатые задачи низкая, так как только 14% натуральных интеллектов в среднем справляются с проблемой Линды и 16% — с задачей Уэйсона.
![Тупой, но по-своему: психологические тесты разоблачили изъяны ИИ](/uploads/posts/2024-06/speech-bubbles-8799213_1280.webp)
LLM тоже «отличились», так как продемонстрировали иррациональность во многих своих ответах. Например, давали разные ответы на один и тот же вопрос десять (!) раз. Чат-боты совершали удивительные ошибки при решении простых задачек, в том числе на сложение. А ещё принимали согласные буквы за гласные, что также приводило к неправильным ответам.
Например, правильные ответы в задаче Уэйсона варьировались от 90% для GPT-4 до 0% для GPT-3.5 и Google Bard. Llama-2-7b, который отвечал правильно в 10% случаев, принял букву К за гласную и поэтому провалился.
Хотя большинство людей также не смогли бы правильно решить задачу Уэйсона, маловероятно, что это произошло бы из-за ошибки с распознаванием гласной буквы.
Оливия Макмиллан-Скотт, первый автор исследования из Калифорнийского университета компьютерных наук, с уверенностью утверждает, что эти модели пока не «думают» как люди. Тем не менее, LLM с самым большим набором данных, GPT-4, показала себя намного лучше, чем другие. Однако трудно сказать, чем можно обосновать конкретные результаты, потому что ПО закрыто для желающих поковыряться в нём.
Некоторые LLM даже отказывались решать задания по этическим соображениям, хотя вопросы были невинными.
Исследователи также предоставили ИИ дополнительные сведения, которые обычно улучшают результаты людей. Однако у тестируемых LLM каких-либо внятных улучшений после подсказок не наступило.
Профессор Мирко Мусолеси, старший автор исследования из Калифорнийского университета, сказал, что на самом деле специалисты пока не понимают, почему большие языковые модели ведут себя определённым образом. И добавил, что совершающим ошибки людям всё-таки хочется, чтобы ИИ был идеальным.
В научном журнале Royal Society Open Science («Королевское общество открытой науки») учёные описали, как специалисты тестировали передовые LLM с помощью тестов когнитивной психологии. То есть применили как «пробирный камень» научную дисциплину, ориентированную на эксперимент и математическое моделирование мышления. Целью экспериментов была оценка способности к рассуждению. Учёные стремились понять, как именно разные ИИ «думают», причём не только из чисто научного интереса. Важно уяснить, можно ли доверять искусственному интеллекту ответственные задачи, от которых зависит принятие соответствующих решений.
В последние годы становятся всё сложнее LLM, которые поддерживают генеративное программное обеспечение с ИИ, такие как ChatGPT. Их способность создавать тексты, изображения, аудио и видео даже воспринимаются как угроза для рабочих мест, вызывают опасении в смысле влияния на политические выборы и как вероятные «пособники» в криминале.
Однако всё чаще всплывают факты, роняющие авторитет такого ПО: ИИ регулярно фабрикуют вымыслы, реагируют непоследовательно и даже неправильно решают арифметические задачки.
Например, исследователи из Калифорнийского университета систематически анализировали, способны ли семь разных LLM рассуждать рационально. Они опирались на такое определение краеугольного термина: рассуждает ли кто-то или что-то в соответствии с правилами логики и с учётом вероятностей. Иррациональный интеллект неспособен к подобному.
В LLM «загрузили» набор из 12 распространённых тестов когнитивной психологии для оценки человеческой способности к рассуждениям. В числе контрольных заданий были, например, логическая задача выбора Уэйсона с четырьмя игральными картами; задача на когнитивное искажение, известная как проблема Линды, в которой всего-то две вероятности; связанный с теорией вероятности «парадокс Монти Холла», который по содержанию похож на наше «Поле чудес», только с тремя дверями вместо шкатулок. Кстати, у людей способность решать эти вроде бы незамысловатые задачи низкая, так как только 14% натуральных интеллектов в среднем справляются с проблемой Линды и 16% — с задачей Уэйсона.
![Тупой, но по-своему: психологические тесты разоблачили изъяны ИИ](/uploads/posts/2024-06/speech-bubbles-8799213_1280.webp)
LLM тоже «отличились», так как продемонстрировали иррациональность во многих своих ответах. Например, давали разные ответы на один и тот же вопрос десять (!) раз. Чат-боты совершали удивительные ошибки при решении простых задачек, в том числе на сложение. А ещё принимали согласные буквы за гласные, что также приводило к неправильным ответам.
Например, правильные ответы в задаче Уэйсона варьировались от 90% для GPT-4 до 0% для GPT-3.5 и Google Bard. Llama-2-7b, который отвечал правильно в 10% случаев, принял букву К за гласную и поэтому провалился.
Хотя большинство людей также не смогли бы правильно решить задачу Уэйсона, маловероятно, что это произошло бы из-за ошибки с распознаванием гласной буквы.
Оливия Макмиллан-Скотт, первый автор исследования из Калифорнийского университета компьютерных наук, с уверенностью утверждает, что эти модели пока не «думают» как люди. Тем не менее, LLM с самым большим набором данных, GPT-4, показала себя намного лучше, чем другие. Однако трудно сказать, чем можно обосновать конкретные результаты, потому что ПО закрыто для желающих поковыряться в нём.
Некоторые LLM даже отказывались решать задания по этическим соображениям, хотя вопросы были невинными.
Исследователи также предоставили ИИ дополнительные сведения, которые обычно улучшают результаты людей. Однако у тестируемых LLM каких-либо внятных улучшений после подсказок не наступило.
Профессор Мирко Мусолеси, старший автор исследования из Калифорнийского университета, сказал, что на самом деле специалисты пока не понимают, почему большие языковые модели ведут себя определённым образом. И добавил, что совершающим ошибки людям всё-таки хочется, чтобы ИИ был идеальным.
- Дмитрий Ладыгин
- pixabay.com
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
![Западная Европа и США готовятся к худшему Западная Европа и США готовятся к худшему](/uploads/mini/shortstory/c1e/63452ff84713a553fcb2c4b14eb54.jpg)
Западная Европа и США готовятся к худшему
Новая угроза ожидается из Латинской Америки....
![NASA обнаружило таинственное энергетическое поле вокруг Земли NASA обнаружило таинственное энергетическое поле вокруг Земли](/uploads/mini/shortstory/63f/993f5cca125710bd5e7998c3c423d.jpg)
NASA обнаружило таинственное энергетическое поле вокруг Земли
Оно уникально, и, похоже, благодаря нему на планете… появилась жизнь....
![Спасение человечества находится на дне Северного Ледовитого океана Спасение человечества находится на дне Северного Ледовитого океана](/uploads/mini/shortstory/b16/5cda8ba33085ef44bb4cc9b986200.jpg)
Спасение человечества находится на дне Северного Ледовитого океана
Финские ученые уверены в этом на 100%....
![Starliner Boeing снова в новостях: теперь там что-то жутко стучит и лязгает Starliner Boeing снова в новостях: теперь там что-то жутко стучит и лязгает](/uploads/mini/shortstory/124/739e8816037bad0a313bd7f3476af.jpg)
Starliner Boeing снова в новостях: теперь там что-то жутко стучит и лязгает
NASA придумывает объяснения, а бывший командир МКС говорит, что это не к добру....
![«Титаник» разваливается прямо на глазах «Титаник» разваливается прямо на глазах](/uploads/mini/shortstory/8a2/1d2eb1dfde31d5f5369b4d0d48d62.jpg)
«Титаник» разваливается прямо на глазах
Кто же ускоряет гибель легендарного корабля: люди или природа?...
![Прорыв или кошмар? Искусственный интеллект стал изменять собственный код Прорыв или кошмар? Искусственный интеллект стал изменять собственный код](/uploads/mini/shortstory/1be/9b06786bac11541ae0e4d76991468.jpg)
Прорыв или кошмар? Искусственный интеллект стал изменять собственный код
Ученые говорят: ничего страшного. Но так ли это на самом деле?...
![Форресты Гампы отменяются Форресты Гампы отменяются](/uploads/mini/shortstory/1f0/4b4ba26a87069298154cbaaf7521f.jpg)
Форресты Гампы отменяются
Американские ученые «взломали» код аутизма....
![Сосуд из найденного в Шотландии клада викингов оказался иранским Сосуд из найденного в Шотландии клада викингов оказался иранским](/uploads/mini/shortstory/b9b/6c5a16607870dcee7ded870025f56.jpg)
Сосуд из найденного в Шотландии клада викингов оказался иранским
Никто не ожидал, что сокровище прибыло из столь отдаленных мест....
![Безглазая смерть чует тьму: как именно грибок превращает мух в зомби-некрофилов Безглазая смерть чует тьму: как именно грибок превращает мух в зомби-некрофилов](/uploads/mini/shortstory/e7b/f7bb936b1fafeefb602fbc6b7740b.jpg)
Безглазая смерть чует тьму: как именно грибок превращает мух в зомби-некрофилов
Главное случается ночью....
![Новый метод поможет раскрыть секс-преступления во много раз быстрее Новый метод поможет раскрыть секс-преступления во много раз быстрее](/uploads/mini/shortstory/0f3/39f1637a6f4b732bda029be4a1ff5.jpg)
Новый метод поможет раскрыть секс-преступления во много раз быстрее
Открытие ускорит проверку улик....
![Азиаты оккупируют Британию: сначала мигранты, теперь желтоногие шершни Азиаты оккупируют Британию: сначала мигранты, теперь желтоногие шершни](/uploads/mini/shortstory/fa6/3b50ed6fd66775e77a87003ce5250.jpg)
Азиаты оккупируют Британию: сначала мигранты, теперь желтоногие шершни
Экологи бьют тревогу и массово рассылают методички населению....
![Космический корабль BepiColombo невероятно близко подлетел к Меркурию Космический корабль BepiColombo невероятно близко подлетел к Меркурию](/uploads/mini/shortstory/83d/c7e5e8717f2100b5313e052890584.jpg)
Космический корабль BepiColombo невероятно близко подлетел к Меркурию
Свежие снимки рябой планеты удалось сделать благодаря возникшим в полёте неполадкам....
![Компания 1X анонсировала повседневного помощника — гуманоидного робота NEO Beta Компания 1X анонсировала повседневного помощника — гуманоидного робота NEO Beta](/uploads/mini/shortstory/1b0/526e645ecf476da55256bb5a433aa.jpg)
Компания 1X анонсировала повседневного помощника — гуманоидного робота NEO Beta
Похожий на человека механический слуга умеет ходить, бегать и подниматься по лестнице....
![Роботы и 3D-печать сделали бетон прочнее благодаря особой структуре Роботы и 3D-печать сделали бетон прочнее благодаря особой структуре](/uploads/mini/shortstory/11b/f9e2330b21c4d24c2519784700a4f.jpg)
Роботы и 3D-печать сделали бетон прочнее благодаря особой структуре
Имитируя природу, бетон можно уложить так, чтобы повысить прочность на 63%....
![Учёные не нашли связи между мобильными телефонами и раком мозга Учёные не нашли связи между мобильными телефонами и раком мозга](/uploads/mini/shortstory/152/0835ee76c49c6c0c1dcc9ac68693a.jpg)
Учёные не нашли связи между мобильными телефонами и раком мозга
В общем, болтай часами — не хочу....