Опять провал: ИИ решил, что рентген коленного сустава показывает пристрастие к пиву

Искусственный интеллект (ИИ) может быть полезным инструментом для медицинских работников и исследователей, когда дело доходит до диагностики, например, по фото или по рентгеновским снимкам. Там, где рентгенолог может выявить переломы или скверные симптомы, компьютерные модели на основе ИИ могут «рассмотреть» особенности, незаметные человеку.


Но исследование, опубликованное в издании Scientific Reports, выявило скрытую проблему использования ИИ при анализе медицинских изображений. К этому привёл феномен вроде бы точных, но при этом вводящих в заблуждение результатов, известный как «ускоренное обучение».

Исследователи оценили более 25 000 рентгеновских снимков коленей и обнаружили, что модели ИИ могут «предсказывать» несвязанные и неправдоподобные выводы, например, любят ли пациенты жаренные орешки или пиво, хотя такие «умозаключения» не имеют медицинского обоснования. ИИ порой достигает поразительной точности, но подчас допускает смехотворные ошибки, к тому же потенциально опасные.


— Питер Шиллинг, автор исследования, хирург-ортопед из Дартмутского медцентра (США).

Исследователи убедились, что алгоритмы ИИ часто полагаются на переменчивые факторы, такие как различия в результатах рентгеновского оборудования или клинических признаках. Попытки устранить эти искажения были лишь частично успешными — модели ИИ просто «обучались» на других скрытых закономерностях и данных, и тоже порой со странными выводами.


— Брэндон Хилл, соавтор исследования и специалист по машинному обучению.

Такая опасная черта ИИ может привести к появлению действительно сомнительных выводов, поэтому учёным было необходимо знать, почему подобное происходит.

Использовать ИИ — это почти то же самое, что иметь дело с инопланетным разумом, сказал Хилл. По его мнению, неверно говорить, что языковая модель нас «обманывает», так как это очеловечило бы технологию.

У неё нет логики или рассуждений в том виде, в каком мы их обычно понимаем. Она лишь научилась решать поставленную перед ней задачу, но не всегда так, как это сделал бы человек.