Программное обеспечение для проверки Surrey можно использовать как часть протокола онлайн-безопасности компании, помогая организации понять, не слишком ли многому научился ИИ или не получил ли он доступ к конфиденциальным данным.
Программное обеспечение также способно определить, выявил ли ИИ недостатки в программном коде и способен ли он их использовать. Например, в контексте онлайн-игр он может определить, научился ли ИИ всегда выигрывать в онлайн-покере, используя ошибку кода.
Во многих приложениях системы ИИ взаимодействуют друг с другом или с людьми, например, в беспилотных автомобилях на шоссе или в больничных роботах. Выяснение того, что знает интеллектуальная система данных ИИ, является постоянной проблемой, на решение которой у нас ушли годы. Наше программное обеспечение для проверки может определить, сколько ИИ может узнать из их взаимодействия, достаточно ли у них знаний для успешного сотрудничества и не слишком ли много у них знаний, которые нарушат конфиденциальность. Благодаря возможности проверять, чему научился ИИ, мы можем дать организациям уверенность в безопасном раскрытии возможностей ИИ в безопасных условиях
— доктор Фортунат Раджаона, научный сотрудник в области формальной проверки конфиденциальности в Университете Суррея.
Исследование о программном обеспечении Суррея получило награду за лучшую статью на 25-м Международном симпозиуме по формальным методам.
Создание инструментов, которые могут проверять производительность генеративного ИИ, имеет важное значение для обеспечения их безопасного и ответственного развертывания. Это исследование является важным шагом на пути к обеспечению конфиденциальности и целостности наборов данных, используемых в обучении машин.