ChatGPT вошёл в 1% лучших участников теста на креативность

Ученые Университета Монтаны провели исследование, в результате которого искусственный интеллект вошел в 1% лучших участников стандартного теста на креативность.


Исследование было проведено Эриком Гузиком, профессором-ассистентом в Колледже Бизнеса Университета Монтаны. Он и его коллеги использовали тесты Торренса на творческое мышление, широко известный инструмент, используемый для оценки человеческой креативности.
Исследователи представили восемь ответов, сгенерированных ChatGPT, работающим на основе движка искусственного интеллекта GPT-4.

Помимо этого были использованы ответы контрольной группы из 24 студентов Университета Монтаны. Студенты, участвовавшие в эксперименте, проходили курсы Гузика по предпринимательству и личным финансам. Результаты сравнивались с оценками 2700 студентов колледжей по всей стране. Все заявки были оценены независимой Службой тестирования (Scholastic Testing Service), которая не знала об участии искусственного интеллекта.

Результаты показали, что ChatGPT обгоняет большинство участников по креативности. Приложение оказалось в первом процентиле по плавности — данный критерий указывает на количество генерируемых идей, и по оригинальности — способности придумывать нечто новое. Искусственный интеллект показал себя чуть хуже в способности генерировать разные типы идей.
Исследователи представили свою работу в мае на конференции по творчеству в Южном Университете Орегона.


— Эрик Гузик, ведущий автор исследования.

Исследователи предполагали, что ChatGPT будет силен в создании большого количества идей. Но удивительно то, насколько хорошо он справился с генерацией оригинальных идей, ведь это является отличительной чертой человеческого воображения. ИИ попал в верхний процентиль за предложение ответов, которые были неожиданны для оценивающих результаты теста экспертов.

 — Эрик Гузик.

Исследователи также задали вопрос искусственному интеллекту о значении его хороших результатов при выполнении теста. Робот выдал достаточно сильный ответ, сообщив, что, возможно, люди сами не полностью понимают принципы работы человеческой креативности. ChatGPT также предположил, что научному сообществу могут понадобиться более совершенные инструменты оценки, которые могут отличать сгенерированные искусственным интеллектом идеи от человеческих.

Использование ChatGPT в реальных задачах

Тест, который использовался для оценки, включает задания, имитирующие творческие задачи из реальной жизни. Значит ли это, что можно расширить способы применения ИИ или улучшить его для решения различных задач?
Ожидается, что с ускорением прогресса ИИ станет ключевым инструментом для мирового бизнеса и новым значительным двигателем регионального и национального инновационного развития.


— Эрик Гузик.

Также исследователь отметил, что Университет Монтаны открыт для применения искусственного интеллекта в учебном процессе.