ИИ не справился с диагностикой сердечных заболеваний
Несмотря на утверждения, что ChatGPT полезен при медосмотрах, новое исследование показало: полагаться на искусственный интеллект неразумно. Особенно в экстренных случаях, когда в приёмном отделении кто-нибудь хватается за сердце.
В ходе исследования рассмотрели тысячи смоделированных на компьютере случаев, когда условные пациенты якобы жаловались на боль в груди. Оказалось, что ChatGPT предоставил противоречивые выводы о рисках для сердца… на основе одних и тех же данных. Генеративная система ИИ также не соответствовала традиционным методам, которые врачи используют для оценки риска для здоровья и жизни пациента.
Ведущий автор исследования Томас Хестон из Медколледжа Флойда, США, заявил, что ChatGPT действовал непоследовательно. Обрабатывая одинаковые данные, ChatGPT мог в первый раз оценить риск последствий как низкий, а в следующий раз — как средний или даже высокий.
Авторы исследования полагают, что проблема, вероятно, связана с уровнем случайности, встроенным в текущую версию программного обеспечения ChatGPT4. Иными словами, чат-бот с генеративным искусственным интеллектом имеет «привычку» варьировать свои реакции для имитации естественного языка. Однако, по словам Хестона, такая вот встроенная случайность плохо работает для медицинских целей, требующих единого, последовательного ответа.
Боли в груди относятся к распространённым жалобам в отделениях неотложной помощи. И они требуют от врачей быстрой оценки того, насколько срочно надо заняться пациентом. Некоторые очень серьёзные случаи легко выявить по симптомам. Но есть и примеры, которые не выглядят как безотлагательные, и всё равно — это большая ответственность и тонкая грань между вариантами «госпитализировать для наблюдения» и «отправить домой для амбулаторной помощи».
Казалось бы, нейронная сеть ИИ, такая как ChatGPT, могла бы эффективнее оценивать миллиарды переменных, то есть анализировать сложную ситуацию быстрее и тщательнее. Чтобы убедиться в этом, Хестон и его коллега Лоуренс Льюис из Вашингтонского университета сначала смоделировали три набора условных данных по 10 тыс. случаев в каждом. Один набор содержал семь переменных по шкале оценки опасности сердечных приступов, второй набор — пять, а третий — 44 разнообразных показателя здоровья.
Для первых двух наборов данных ChatGPT в 45–48% случаев давал разные оценки рисков. Что касается третьего массива информации, то исследователи перепроверили вариации четыре раза и обнаружили, что ChatGPT часто не соглашался сам с собой, переоценивая выводы для одних и тех же групп показателей в 44% случаев.
Несмотря на отрицательные результаты исследования, Хестон видит большой потенциал генеративного ИИ для здравоохранения, но при условии должных улучшений и развития.
Например, если в программу загрузить все медицинские записи, то в экстренных ситуациях врач мог бы запросить у ChatGPT быстрый ответ с наиболее важными фактами о пациенте. Кроме того, в сложных случаях врачи могли бы попросить программу сгенерировать несколько возможных диагнозов на выбор для оценки опытным медиком.
В ходе исследования рассмотрели тысячи смоделированных на компьютере случаев, когда условные пациенты якобы жаловались на боль в груди. Оказалось, что ChatGPT предоставил противоречивые выводы о рисках для сердца… на основе одних и тех же данных. Генеративная система ИИ также не соответствовала традиционным методам, которые врачи используют для оценки риска для здоровья и жизни пациента.
Ведущий автор исследования Томас Хестон из Медколледжа Флойда, США, заявил, что ChatGPT действовал непоследовательно. Обрабатывая одинаковые данные, ChatGPT мог в первый раз оценить риск последствий как низкий, а в следующий раз — как средний или даже высокий.
Авторы исследования полагают, что проблема, вероятно, связана с уровнем случайности, встроенным в текущую версию программного обеспечения ChatGPT4. Иными словами, чат-бот с генеративным искусственным интеллектом имеет «привычку» варьировать свои реакции для имитации естественного языка. Однако, по словам Хестона, такая вот встроенная случайность плохо работает для медицинских целей, требующих единого, последовательного ответа.
Боли в груди относятся к распространённым жалобам в отделениях неотложной помощи. И они требуют от врачей быстрой оценки того, насколько срочно надо заняться пациентом. Некоторые очень серьёзные случаи легко выявить по симптомам. Но есть и примеры, которые не выглядят как безотлагательные, и всё равно — это большая ответственность и тонкая грань между вариантами «госпитализировать для наблюдения» и «отправить домой для амбулаторной помощи».
Казалось бы, нейронная сеть ИИ, такая как ChatGPT, могла бы эффективнее оценивать миллиарды переменных, то есть анализировать сложную ситуацию быстрее и тщательнее. Чтобы убедиться в этом, Хестон и его коллега Лоуренс Льюис из Вашингтонского университета сначала смоделировали три набора условных данных по 10 тыс. случаев в каждом. Один набор содержал семь переменных по шкале оценки опасности сердечных приступов, второй набор — пять, а третий — 44 разнообразных показателя здоровья.
Для первых двух наборов данных ChatGPT в 45–48% случаев давал разные оценки рисков. Что касается третьего массива информации, то исследователи перепроверили вариации четыре раза и обнаружили, что ChatGPT часто не соглашался сам с собой, переоценивая выводы для одних и тех же групп показателей в 44% случаев.
Несмотря на отрицательные результаты исследования, Хестон видит большой потенциал генеративного ИИ для здравоохранения, но при условии должных улучшений и развития.
Например, если в программу загрузить все медицинские записи, то в экстренных ситуациях врач мог бы запросить у ChatGPT быстрый ответ с наиболее важными фактами о пациенте. Кроме того, в сложных случаях врачи могли бы попросить программу сгенерировать несколько возможных диагнозов на выбор для оценки опытным медиком.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...