ИИ не справился с диагностикой сердечных заболеваний

Несмотря на утверждения, что ChatGPT полезен при медосмотрах, новое исследование показало: полагаться на искусственный интеллект неразумно. Особенно в экстренных случаях, когда в приёмном отделении кто-нибудь хватается за сердце.


В ходе исследования рассмотрели тысячи смоделированных на компьютере случаев, когда условные пациенты якобы жаловались на боль в груди. Оказалось, что ChatGPT предоставил противоречивые выводы о рисках для сердца… на основе одних и тех же данных. Генеративная система ИИ также не соответствовала традиционным методам, которые врачи используют для оценки риска для здоровья и жизни пациента.

Ведущий автор исследования Томас Хестон из Медколледжа Флойда, США, заявил, что ChatGPT действовал непоследовательно. Обрабатывая одинаковые данные, ChatGPT мог в первый раз оценить риск последствий как низкий, а в следующий раз — как средний или даже высокий.

Авторы исследования полагают, что проблема, вероятно, связана с уровнем случайности, встроенным в текущую версию программного обеспечения ChatGPT4. Иными словами, чат-бот с генеративным искусственным интеллектом имеет «привычку» варьировать свои реакции для имитации естественного языка. Однако, по словам Хестона, такая вот встроенная случайность плохо работает для медицинских целей, требующих единого, последовательного ответа.

Боли в груди относятся к распространённым жалобам в отделениях неотложной помощи. И они требуют от врачей быстрой оценки того, насколько срочно надо заняться пациентом. Некоторые очень серьёзные случаи легко выявить по симптомам. Но есть и примеры, которые не выглядят как безотлагательные, и всё равно — это большая ответственность и тонкая грань между вариантами «госпитализировать для наблюдения» и «отправить домой для амбулаторной помощи».

Казалось бы, нейронная сеть ИИ, такая как ChatGPT, могла бы эффективнее оценивать миллиарды переменных, то есть анализировать сложную ситуацию быстрее и тщательнее. Чтобы убедиться в этом, Хестон и его коллега Лоуренс Льюис из Вашингтонского университета сначала смоделировали три набора условных данных по 10 тыс. случаев в каждом. Один набор содержал семь переменных по шкале оценки опасности сердечных приступов, второй набор — пять, а третий — 44 разнообразных показателя здоровья.

Для первых двух наборов данных ChatGPT в 45–48% случаев давал разные оценки рисков. Что касается третьего массива информации, то исследователи перепроверили вариации четыре раза и обнаружили, что ChatGPT часто не соглашался сам с собой, переоценивая выводы для одних и тех же групп показателей в 44% случаев.

Несмотря на отрицательные результаты исследования, Хестон видит большой потенциал генеративного ИИ для здравоохранения, но при условии должных улучшений и развития.

Например, если в программу загрузить все медицинские записи, то в экстренных ситуациях врач мог бы запросить у ChatGPT быстрый ответ с наиболее важными фактами о пациенте. Кроме того, в сложных случаях врачи могли бы попросить программу сгенерировать несколько возможных диагнозов на выбор для оценки опытным медиком.