Детекторы ИИ ложно обвинили студентов в плагиате
Специальное программное обеспечение, которое называют детекторами искусственного интеллекта, неверно оценивает оригинальность студенческих работ, что приводит к несправедливым обвинениям.
Всё чаще становится известно, что некоторые детекторы ИИ ложно «уличают» учащихся в использовании опять же искусственного интеллекта при подготовке домашних заданий и написании курсовых работ.
Так, согласно данным издания Bloomberg Businessweek, студентка с расстройством аутистического спектра пожаловалась, что имеет врождённую склонность излагать мысли шаблонно. И эти последствия специфического заболевания антиплагиат неверно истолковал как сгенерированное ИИ. В результате девушке вынесли письменное предупреждение о предполагаемом плагиате в её студенческой работе.
Журналисты Bloomberg протестировали 500 текстов учащихся Техасского университета A&M. Для эксперимента выбрали работы, сданные на проверку вообще до появления чат-бота ChatGPT. Тексты прогнали через сервисы обнаружения «соавторства» ИИ, такие как Copyleaks и GPTZero.
Сервисы пометили 1–2% ученических трудов как «вероятно» написанные ИИ, а некоторые тексты ПО даже оценило как плагиат со 100-% уверенностью. Таким образом точность детекторов ИИ оказалась под большим сомнением. Действительно, многое из подвергнутого перепроверке точно написали людьми, и плоды их умственных усилий точно не попадали в массивы данных, на которых обучали так называемые языковые модели, то есть ИИ.
Хотя тестовая выборка при эксперименте была сравнительно небольшой, она явно указала на масштабную проблему. В общем, инструменты для обнаружения ИИ ненадёжны и могут приводить к ложным обвинениям людей в недобросовестности. Риски для студентов при этом очень высоки, ведь из-за несовершенства ПО могут пострадать и репутация, и будущая карьера молодёжи. Да и вообще всех, кто попадёт под подозрение в нечестности, если их тексты прогонят через детектор ИИ с ложноположительными результатами сканирования.
Например, исследование, проведённое в 2023 году в Стэнфордском университете, показало, что детекторы ИИ пометили более половины сочинений, написанных студентами, для которых английский не является родным языком, как сгенерированные ИИ. Что неудивительно, ведь те, кто учатся на иностранном языке, всегда будут отличаться меньшим словарным запасом, чем носители языка, а потом создавать более шаблонные тексты, с более затасканным вокабуляром.
Итан Моллик, профессор менеджмента в Уортонской школе бизнеса Пенсильванского университета, раскритиковал инструменты выявления плагиата с ИИ-составляющей. Он сказал, что с моральной точки зрения из-за ложных срабатываний вообще неправильно использовать детекторы ИИ, которые очерняют студентов и вредят тем, кто «никогда не сможет доказать свою невиновность».
В отчёте исследователи также процитировали соучредителя сервиса Copyleaks. Алон Ямин признал, что ни одна система обнаружения не является точной на 100% и должна использоваться лишь для выявления подозрительных вещей, а не для окончательных обвинений.
Соучредитель GPTZero Эдвард Тиан также признал, что у детекторов ИИ есть «слепые зоны». И добавил, что его компания уже провела работу против предвзятости, в частности, относительно студентов, изучающих английский как иностранный.
А в OpenAI, компании-разработчике чат-бота ChatGPT, недавно заявили, что не будут выпускать инструмент для проверки текста с помощью ИИ. При этом представители научно-исследовательской организации сослались на опасения, что такое ПО может повредить, например, студентам, изучающим английский как второй язык.
Вместе с тем ранее издание ReadWrite сообщало, что более половины опрошенных студентов бакалавриата в Великобритании обращаются к ИИ, лишь бы успешно завершить обучение.
Всё чаще становится известно, что некоторые детекторы ИИ ложно «уличают» учащихся в использовании опять же искусственного интеллекта при подготовке домашних заданий и написании курсовых работ.
Так, согласно данным издания Bloomberg Businessweek, студентка с расстройством аутистического спектра пожаловалась, что имеет врождённую склонность излагать мысли шаблонно. И эти последствия специфического заболевания антиплагиат неверно истолковал как сгенерированное ИИ. В результате девушке вынесли письменное предупреждение о предполагаемом плагиате в её студенческой работе.
Журналисты Bloomberg протестировали 500 текстов учащихся Техасского университета A&M. Для эксперимента выбрали работы, сданные на проверку вообще до появления чат-бота ChatGPT. Тексты прогнали через сервисы обнаружения «соавторства» ИИ, такие как Copyleaks и GPTZero.
Сервисы пометили 1–2% ученических трудов как «вероятно» написанные ИИ, а некоторые тексты ПО даже оценило как плагиат со 100-% уверенностью. Таким образом точность детекторов ИИ оказалась под большим сомнением. Действительно, многое из подвергнутого перепроверке точно написали людьми, и плоды их умственных усилий точно не попадали в массивы данных, на которых обучали так называемые языковые модели, то есть ИИ.
Хотя тестовая выборка при эксперименте была сравнительно небольшой, она явно указала на масштабную проблему. В общем, инструменты для обнаружения ИИ ненадёжны и могут приводить к ложным обвинениям людей в недобросовестности. Риски для студентов при этом очень высоки, ведь из-за несовершенства ПО могут пострадать и репутация, и будущая карьера молодёжи. Да и вообще всех, кто попадёт под подозрение в нечестности, если их тексты прогонят через детектор ИИ с ложноположительными результатами сканирования.
Например, исследование, проведённое в 2023 году в Стэнфордском университете, показало, что детекторы ИИ пометили более половины сочинений, написанных студентами, для которых английский не является родным языком, как сгенерированные ИИ. Что неудивительно, ведь те, кто учатся на иностранном языке, всегда будут отличаться меньшим словарным запасом, чем носители языка, а потом создавать более шаблонные тексты, с более затасканным вокабуляром.
Итан Моллик, профессор менеджмента в Уортонской школе бизнеса Пенсильванского университета, раскритиковал инструменты выявления плагиата с ИИ-составляющей. Он сказал, что с моральной точки зрения из-за ложных срабатываний вообще неправильно использовать детекторы ИИ, которые очерняют студентов и вредят тем, кто «никогда не сможет доказать свою невиновность».
В отчёте исследователи также процитировали соучредителя сервиса Copyleaks. Алон Ямин признал, что ни одна система обнаружения не является точной на 100% и должна использоваться лишь для выявления подозрительных вещей, а не для окончательных обвинений.
Соучредитель GPTZero Эдвард Тиан также признал, что у детекторов ИИ есть «слепые зоны». И добавил, что его компания уже провела работу против предвзятости, в частности, относительно студентов, изучающих английский как иностранный.
А в OpenAI, компании-разработчике чат-бота ChatGPT, недавно заявили, что не будут выпускать инструмент для проверки текста с помощью ИИ. При этом представители научно-исследовательской организации сослались на опасения, что такое ПО может повредить, например, студентам, изучающим английский как второй язык.
Вместе с тем ранее издание ReadWrite сообщало, что более половины опрошенных студентов бакалавриата в Великобритании обращаются к ИИ, лишь бы успешно завершить обучение.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...