Ишь чего удумал: ИИ от OpenAI иногда вдруг «рассуждает» на китайском языке
В сентябре 2024-го компания OpenAI выпустила генеративную модель искусственного интеллекта o1. Новинка отличается от предыдущей фирменной модели GPT-4o способностью «рассуждать», подобно человеку, и решать более сложные задачи.
Поясним, что модель искусственного интеллекта (ИИ) — это компьютерная программа, служащая для имитации умственных способностей человека, в том или ином их аспекте.
Однако незамутнённый энтузиазм поклонников вскоре стал сменяться изумлением. Пользователи вдруг начали наблюдать нечто обескураживающее. Модель иногда принималась «думать» на китайском, реже фарси или ещё каком-нибудь ином языке, даже если перед ней ставили вопрос на языке Шекспира.

Получив запрос, например, о том, сколько букв r в определённом слове, o1 начнёт «думать» и выдаст ответ после логических шагов. Если вопрос был задан на английском языке, то и ответ модели ИИ должен последовать на нём же. Но прежде чем прийти к выводу, она выполнит несколько шагов на другом языке.
Так, один пользователь сообщил в соцсети Reddit, что o1 начал «думать» в процессе на китайском. Другой пользователь рассказал в соцсети X, что при общении с o1 эта модель ИИ вдруг начала выдавать китайский текст. Это произошло внезапно, и ничего, казалось бы, подобного не провоцировало.
Представители компании OpenAI не предоставили никаких объяснений по поводу странного поведения o1. Что же могло произойти? Эксперты в сфере ИИ не уверены в причинах происходящего. Но у них есть несколько теорий.
Некоторые специалисты, в том числе Клеман Деланж, гендиректор платформы для разработки и распространения ИИ-инструментов Hugging Face, указывали на тот факт, что модели ИИ обучают на комплексах данных, среди которых — множество иероглифов родом из Поднебесной.
Тед Сяо из компании Google DeepMind объяснил, что в OpenAI (и не только она) привлекают сервисы со стороны для обработки китайских данных. Он сказал, что внезапные переходы o1 на китайский — это пример влияния языка на «рассуждения». Причина — в обстановке на рынке труда.
— Сяо.
Специальные метки (они же теги или аннотации) содействуют моделям ИИ в восприятии информации в процессе обучения. Так, метки помогают той же модели распознавания изображений «складировать в память» объекты, относящиеся к тому или иному человеку, месту или предмету на картинке.
Исследования уже доказали, что конкретные метки могут приводить к неожиданному поведению моделей. Например, аннотатор (составитель примечаний) может вписывать фразы на сленге с неформальной грамматикой. А когда слова приобретают нестандартные оттенки смысла, всё идёт наперекосяк.
Однако остальных экспертов не убедила гипотеза о том, что o1 усвоил исключительно китайские данные. Они отметили, что при поиске решения o1 с такой же вероятностью может переключиться на любой другой язык: хинди, тайский и так далее. Видимо, o1 и другие модели ИИ способны применять языки, которые сочтут по каким-то своим «соображениям» наиболее подходящими в тот или иной момент. А с точки зрения человека — попросту галлюцинировать, то есть бредить.
— Мэтью Гуздиал, эксперт по ИИ из Университета Альберты
В действительности модели не обрабатывают слова непосредственно. Вместо этого они используют токены, которые могут быть и словами, и слогами, и даже отдельными буквами либо иероглифами.
Как и примечания, токены могут провоцировать ошибки. Например, многие программы по интерпретации слов в токены подразумевают, что пробел обозначает ещё одно слово, хотя не во всех языках слова разделяются пробелами.
Тичжэнь Ван, программист из ИИ-стартапа Hugging Face, солидарен с Гуздиалом в том, что языковые нестыковки в «рассуждениях» моделей можно объяснить возникшими при обучении смысловыми связями.

— Ван.
Теория Вана убедительна, поскольку модели работают на основе вероятностей. Натренированные на изобилии примеров, они усваивают закономерности, чтобы прогнозировать, например, что после «кого» в электронном сообщении обычно следует «это может касаться».
Но Лука Сольдайни, научный сотрудник некоммерческого Института ИИ Аллена, предупредил, что нет оснований для определённости. Журналистам издания TechCrunch эксперт сказал, что нельзя утверждать то или иное из-за нехватки информации о том, как обучают модели ИИ.
— Сольдайни.
Поскольку в OpenAI не комментируют удивительные сбои, остаётся только догадываться, почему o1 «рассуждает» о песнях на французском, но о биологии — на китайском.
Поясним, что модель искусственного интеллекта (ИИ) — это компьютерная программа, служащая для имитации умственных способностей человека, в том или ином их аспекте.
Однако незамутнённый энтузиазм поклонников вскоре стал сменяться изумлением. Пользователи вдруг начали наблюдать нечто обескураживающее. Модель иногда принималась «думать» на китайском, реже фарси или ещё каком-нибудь ином языке, даже если перед ней ставили вопрос на языке Шекспира.

Получив запрос, например, о том, сколько букв r в определённом слове, o1 начнёт «думать» и выдаст ответ после логических шагов. Если вопрос был задан на английском языке, то и ответ модели ИИ должен последовать на нём же. Но прежде чем прийти к выводу, она выполнит несколько шагов на другом языке.
Так, один пользователь сообщил в соцсети Reddit, что o1 начал «думать» в процессе на китайском. Другой пользователь рассказал в соцсети X, что при общении с o1 эта модель ИИ вдруг начала выдавать китайский текст. Это произошло внезапно, и ничего, казалось бы, подобного не провоцировало.
Представители компании OpenAI не предоставили никаких объяснений по поводу странного поведения o1. Что же могло произойти? Эксперты в сфере ИИ не уверены в причинах происходящего. Но у них есть несколько теорий.
Некоторые специалисты, в том числе Клеман Деланж, гендиректор платформы для разработки и распространения ИИ-инструментов Hugging Face, указывали на тот факт, что модели ИИ обучают на комплексах данных, среди которых — множество иероглифов родом из Поднебесной.
Тед Сяо из компании Google DeepMind объяснил, что в OpenAI (и не только она) привлекают сервисы со стороны для обработки китайских данных. Он сказал, что внезапные переходы o1 на китайский — это пример влияния языка на «рассуждения». Причина — в обстановке на рынке труда.
Такие разработчики, как OpenAI и Anthropic, используют подрядчиков ради данных для математики и программирования. Из-за дефицита специалистов и дороговизны их услуг многие сотрудники — из Китая
— Сяо.
Специальные метки (они же теги или аннотации) содействуют моделям ИИ в восприятии информации в процессе обучения. Так, метки помогают той же модели распознавания изображений «складировать в память» объекты, относящиеся к тому или иному человеку, месту или предмету на картинке.
Исследования уже доказали, что конкретные метки могут приводить к неожиданному поведению моделей. Например, аннотатор (составитель примечаний) может вписывать фразы на сленге с неформальной грамматикой. А когда слова приобретают нестандартные оттенки смысла, всё идёт наперекосяк.
Однако остальных экспертов не убедила гипотеза о том, что o1 усвоил исключительно китайские данные. Они отметили, что при поиске решения o1 с такой же вероятностью может переключиться на любой другой язык: хинди, тайский и так далее. Видимо, o1 и другие модели ИИ способны применять языки, которые сочтут по каким-то своим «соображениям» наиболее подходящими в тот или иной момент. А с точки зрения человека — попросту галлюцинировать, то есть бредить.
Модель ИИ не «осознаёт», что такое языки по отдельности, сами по себе. Для неё это просто текст
— Мэтью Гуздиал, эксперт по ИИ из Университета Альберты
В действительности модели не обрабатывают слова непосредственно. Вместо этого они используют токены, которые могут быть и словами, и слогами, и даже отдельными буквами либо иероглифами.
Как и примечания, токены могут провоцировать ошибки. Например, многие программы по интерпретации слов в токены подразумевают, что пробел обозначает ещё одно слово, хотя не во всех языках слова разделяются пробелами.
Тичжэнь Ван, программист из ИИ-стартапа Hugging Face, солидарен с Гуздиалом в том, что языковые нестыковки в «рассуждениях» моделей можно объяснить возникшими при обучении смысловыми связями.

Так, для меня удобнее заниматься математикой на китайском, где одна цифра — это один слог, отчего вычисления выглядят более ясными. Но когда дело касается неосознанных предубеждений, я машинально переключаюсь на английский, ведь на нём я впервые узнал и усвоил соответствующие идеи
— Ван.
Теория Вана убедительна, поскольку модели работают на основе вероятностей. Натренированные на изобилии примеров, они усваивают закономерности, чтобы прогнозировать, например, что после «кого» в электронном сообщении обычно следует «это может касаться».
Но Лука Сольдайни, научный сотрудник некоммерческого Института ИИ Аллена, предупредил, что нет оснований для определённости. Журналистам издания TechCrunch эксперт сказал, что нельзя утверждать то или иное из-за нехватки информации о том, как обучают модели ИИ.
Это один из многих примеров того, почему прозрачность в построении систем искусственного интеллекта имеет фундаментальное значение
— Сольдайни.
Поскольку в OpenAI не комментируют удивительные сбои, остаётся только догадываться, почему o1 «рассуждает» о песнях на французском, но о биологии — на китайском.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...