5 апр 2023 4 097

Новое программное обеспечение может проверить, сколько информации действительно знает ИИ

В связи с растущим во всем мире интересом к системам генеративного искусственного интеллекта (ИИ) исследователи из Университета Суррея создали программное обеспечение, способное проверять, сколько информации система данных ИИ извлекла из цифровой базы данных организации.

Программное обеспечение для проверки Surrey можно использовать как часть протокола онлайн-безопасности компании, помогая организации понять, не слишком ли многому научился ИИ или не получил ли он доступ к конфиденциальным данным.

Программное обеспечение также способно определить, выявил ли ИИ недостатки в программном коде и способен ли он их использовать. Например, в контексте онлайн-игр он может определить, научился ли ИИ всегда выигрывать в онлайн-покере, используя ошибку кода.

Во многих приложениях системы ИИ взаимодействуют друг с другом или с людьми, например, в беспилотных автомобилях на шоссе или в больничных роботах. Выяснение того, что знает интеллектуальная система данных ИИ, является постоянной проблемой, на решение которой у нас ушли годы. Наше программное обеспечение для проверки может определить, сколько ИИ может узнать из их взаимодействия, достаточно ли у них знаний для успешного сотрудничества и не слишком ли много у них знаний, которые нарушат конфиденциальность. Благодаря возможности проверять, чему научился ИИ, мы можем дать организациям уверенность в безопасном раскрытии возможностей ИИ в безопасных условиях

— доктор Фортунат Раджаона, научный сотрудник в области формальной проверки конфиденциальности в Университете Суррея.

Исследование о программном обеспечении Суррея получило награду за лучшую статью на 25-м Международном симпозиуме по формальным методам.

Создание инструментов, которые могут проверять производительность генеративного ИИ, имеет важное значение для обеспечения их безопасного и ответственного развертывания. Это исследование является важным шагом на пути к обеспечению конфиденциальности и целостности наборов данных, используемых в обучении машин.