ChatGPT сдал выпускные экзамены по бизнесу и праву

В недавно опубликованном исследовании профессора права Университета Миннесоты попросили ChatGPT подготовить ответы на выпускные экзамены на четырех курсах в их школе. ИИ сдал все четыре, но со средней оценкой C+. В другой недавней статье профессор Уортонской школы бизнеса Кристиан Тервиш обнаружил, что ChatGPT сдал экзамен по управлению бизнесом с оценкой от B до B-.


Исследовательские группы обнаружили, что ИИ, мягко говоря, непостоянен. Группа Университета Миннесоты отметила, что ChatGPT хорошо справляется с «основными правовыми нормами» и обобщает доктрины, но терпит неудачу, пытаясь точно определить вопросы, относящиеся к делу. Тервиш сказал, что генератор был «потрясающим» с простыми вопросами управления операциями и анализа процессов, но не мог справиться с сложными вопросами процесса. Он даже делал ошибки в математике на уровне 6-го класса.

Есть потенциал и для того, чтобы улучшить результаты, продемонстрированные в тестах. Профессора из Миннесоты заявили, что они никак не адаптировали текстовые подсказки к конкретным курсам или вопросам и полагали, и что студенты могут добиться лучших результатов с помощью дополнительной настройки.

В ходе экспериментов Тервиш заметил, что бот умеет менять дополнять ответы в процессе общения. ChatGPT может не справиться с экзаменом или сочинением сам по себе, но списывающий может заставить систему генерировать грубые ответы и дополнительно уточнять их.

Обе группы исследователей предупредили, что школы должны ограничить использование технологий, чтобы предотвратить мошенничество на основе ChatGPT. Они также рекомендовали изменить вопросы, чтобы либо воспрепятствовать использованию ИИ (например, сосредоточившись на анализе, а не на заучивании правил), либо усложнить задачу тем ученикам, которые полагаются на ИИ. Студентам по-прежнему необходимо осваивать «фундаментальные навыки», а не полагаться на помощь бота, заявил Миннесотский университет.

Ученые по-прежнему считают, что ChatGPT может найти свое место в процессе обучения. В перспективе, профессора могли бы научить студентов эффективно пользоваться помощью ИИ во время занятий или даже использовать его для написания и оценки экзаменов.


— Кристиан Тервиш.