Ученые используют особенности нашего мозга, чтобы сделать ИИ более надежным

Большинство систем искусственного интеллекта основаны на нейронных сетях — алгоритмах, вдохновленных биологическими нейронами. Эти сети могут состоять из нескольких слоев: входные данные поступают с одной стороны, а выходные — с другой. Выходные данные можно использовать для принятия автоматических решений, например, в беспилотных автомобилях.


Атаки с целью ввести в заблуждение нейронную сеть могут включать использование уязвимостей во входных слоях, но обычно при разработке защиты учитывается только начальный входной уровень. Впервые исследователи дополнили внутренние слои нейронной сети процессом, включающим случайный шум, чтобы повысить ее устойчивость.

Искусственный интеллект (ИИ) стал относительно обычным явлением. Наверняка у вас есть смартфон с ИИ или вы используете поисковую систему на базе него. Хотя это широкий термин, который может включать множество различных способов обработки информации и иногда принятия решений, системы ИИ часто строятся с использованием искусственных нейронных сетей (ИНС), аналогичных сетям мозга.

И, как и мозг, ИНС иногда могут запутываться либо случайно, либо в результате преднамеренных действий третьей стороны. Такой процесс у нейросети схож с результатом оптической иллюзии у человека: может возникнуть ощущение, что вы смотрите на одну вещь, хотя на самом деле изображена другая.

Однако разница между тем, что сбивает с толку ИНС, и вещами, путающими нас, заключается в том, что некоторые визуальные данные могут казаться совершенно нормальными или, по крайней мере, понятными для нас, но ИНС «увидит» в этом нечто иное.

Тривиальным примером может послужить система классификации изображений, принявшая кошку за собаку. Но более серьезная ситуация возникает с беспилотным автомобилем, ошибочно принимающим знак остановки за знак, дающий право проезда. На данный момент существуют медицинские диагностические системы и многие другие специальные подходы, которые принимают входные данные и информируют или даже принимают решения, которые могут повлиять на людей.

Поскольку входные данные не обязательно являются визуальными, не всегда легко с первого взгляда проанализировать, почему система могла допустить ошибку. Злоумышленники, пытающиеся разрушить алгоритм, основанный на ИНС, могут воспользоваться этим, незаметно изменив ожидаемый шаблон ввода так, что он будет неправильно истолкован, и система будет вести себя некорректно.

Ученые предлагают новый вариант защиты от атак

Существуют некоторые методы защиты от подобных атак, но они имеют ряд недостатков. Недавний выпускник Дзюмпей Укита и профессор Кеничи Оки с кафедры физиологии Высшей медицинской школы Токийского университета разработали и протестировали новый способ улучшения защиты ИНС.


— Кеничи Оки, профессор с кафедры физиологии Высшей медицинской школы Токийского университета.

Дзюмпей Укита и Кеничи Оки не просто ученые компьютерных наук. Они также изучали человеческий мозг, и это вдохновило их использовать известный им феномен в ИНС. Они предложили добавить шум не только к входному слою, но и к более глубоким. Обычно этого избегают, поскольку есть опасения, что это повлияет на эффективность сети. Но исследователи выяснили, что это не так, и вместо этого шум способствовал большей адаптивности их тестовой ИНС, что снизило ее восприимчивость к моделируемым атакам.


— Дзюмпей Укита, выпускник кафедры физиологии Высшей медицинской школы Токийского университета.

Хотя новая идея действительно надежна, команда хочет развивать ее дальше, чтобы сделать систему еще более эффективной против ожидаемых атак, в том числе тех, против которых защиту еще не проверяли.


— Дзюмпей Укита.