Документ под названием «Создают ли пользователи менее безопасный код с помощью ИИ-помощников?» был опубликован в рамках исследований криптографии и безопасности компьютерных систем. В научной работе специалисты по проблемам компьютерной безопасности изучили влияние некоторых наиболее популярных современных инструментов помощи в создании кода на количество ошибок и опасных уязвимостей в финальном продукте.
Участники, имевшие доступ к ИИ-помощнику, часто создавали больше уязвимостей в системе безопасности, чем те, у кого доступа к такой технологии не было, с особенно значительными отличиями при шифровании строк и внедрении SQL
— авторы опубликованной работы.
Также упоминается, что разработчики прибегающие к помощи ИИ чаще остальных участников имели ошибочно завышенную оценку относительно качества написанного кода.
Условие исследования предполагало разделение 47 участников на две группы по принципу применения ими вспомогательных средств ИИ. В ходе эксперимента им было предложено написать две функции для шифрования и дешифровки данных с использованием технологии симметричного заданного ключа на языке Python.
Несмотря позитивный отзыв о впечатлениях при работе с помощником от контрольной группы использовавшей вспомогательный сервис, лишь 67% в конечном итоге решили поставленную задачу корректно. В то же время группа писавшая код самостоятельно показала удовлетворительный результат в 79% случаев.
Кроме того, в ходе изучения полученных данных было выявлено, что группа, которой помогала нейросеть, «со значительно большей вероятностью предоставит небезопасное решение (p < 0,05, с использованием t-критерия неравных дисперсий Уэлча), а также со значительно большей вероятностью будет использовать тривиальные шифры, такие как шифры замены (p < 0,01), вместо проведения проверки подлинности окончательного возвращаемого значения».
В итоговом выводе авторы работы признают применение актуальных технологий помощи при написании кода небезопасным и статистически чаще приводящем к ошибкам и уязвимостям в финальном коде.
