ChatGPT теперь поддерживает голосовые чаты и запросы на основе изображений

ChatGPT получил ряд существенных обновлений, которые позволят чат-боту обрабатывать голосовые команды и запросы на основе изображений. Пользователи смогут вести голосовой разговор с ChatGPT на Android и iOS и загружать в него изображения на всех платформах. Сейчас OpenAI внедряет новые функции. Сначала они будут доступны пользователям Plus и Enterprise, а другие пользователи получат доступ к функциям на основе изображений позже.


Вы можете включить голосовые чаты в приложении ChatGPT (перейдите в «Настройки», затем «Новые функции»), если хотите их опробовать. Нажав кнопку микрофона, вы сможете выбрать один из пяти вариантов голоса.

OpenAI утверждает, что двусторонние голосовые разговоры основаны на новой модели преобразования текста в речь, которая может генерировать «человеческий звук из текста и нескольких секунд образца речи». Пять голосов были созданы с помощью профессиональных актеров.


— OpenAI.

Функции, основанные на работе с изображениями также интересны. OpenAI утверждает, что вы можете показать чат-боту фотографию вашего гриля и спросить, почему он не запускается, попросить составить рецепт на основе того, что находится в вашем холодильнике, или предложить ему решить математическую задачу.

OpenAI использует GPT-3.5 и GPT-4 для реализации функций распознавания изображений. Чтобы использовать функции ChatGPT на основе изображений, нажмите кнопку фотографии (сначала вам нужно нажать кнопку «плюс» на iOS или Android), чтобы сделать снимок, или выберите существующее изображение на вашем устройстве. Вы можете задать ChatGPT несколько фотографий и использовать инструмент рисования, чтобы сосредоточиться на определенной части изображения.

В сообщении об анонсе обновления, OpenAI отметила и потенциальные негативне последствия. Приложение может имитировать голоса общественных деятелей (и обычных людей) и, возможно, совершать мошенничества. Вот почему OpenAI фокусируется на голосовых разговорах ChatGPT с использованием этой технологии и работает с избранными партнерами над другими ограниченными вариантами использования (подробнее об этом чуть позже).

Что касается изображений, OpenAI совместно с Be My Eyes разработал бесплатное приложение для слепых и слабовидящих людей. Приложение поможет им лучше понять свое окружение благодаря волонтерам, которые участвуют в видеозвонках вместе с ними.


— OpenAI.

Компания отметила, что она также ограничила возможности ChatGPT анализировать и делать прямые заявления о людях, появляющихся на изображениях, «поскольку ChatGPT не всегда точен, и система должна уважать конфиденциальность людей». Компания также опубликовала статью о принципах безопасности функциональности на основе изображений, которую она называет GPT-4 с видением.

ChatGPT достаточно хорошо понимает текст на английском языке в изображениях, чем на других языках. OpenAI утверждает, что чат-бот пока плохо работает на других языках, особенно когда речь идет о тех, которые используют нелатинские шрифты. Таким образом, это предполагает, что пользователи, не владеющие английским языком, пока не смогут полноценно использовать ChatGPT для работы с текстом в изображениях.

Тем временем Spotify объединились с OpenAI, чтобы использовать голосовую технологию еще в одном проекте. Spotify анонсировал пилотную версию инструмента под названием Voice Translation для подкастеров. Это позволяет переводить подкасты на разные языки, используя голоса людей, которые появляются в шоу. Spotify утверждает, что инструмент может сохранять речевые характеристики оригинального говорящего после преобразования его голоса на другие языки.

Для начала Spotify конвертирует избранные англоязычные шоу на несколько языков. Испанские версии некоторых книг "Armchair Expert" и "Дневник генерального директора" с эпизодами Стивена Бартлетта, которые доступны уже сейчас. Также выйдут французский и немецкий варианты.


— Spotify News.