Вы можете включить голосовые чаты в приложении ChatGPT (перейдите в «Настройки», затем «Новые функции»), если хотите их опробовать. Нажав кнопку микрофона, вы сможете выбрать один из пяти вариантов голоса.
OpenAI утверждает, что двусторонние голосовые разговоры основаны на новой модели преобразования текста в речь, которая может генерировать «человеческий звук из текста и нескольких секунд образца речи». Пять голосов были созданы с помощью профессиональных актеров.
Используйте свой голос, чтобы участвовать в двустороннем разговоре с ChatGPT. Разговаривайте с ним на ходу, заказывайте сказку на ночь или разрешайте споры за обеденным столом
— OpenAI.
Функции, основанные на работе с изображениями также интересны. OpenAI утверждает, что вы можете показать чат-боту фотографию вашего гриля и спросить, почему он не запускается, попросить составить рецепт на основе того, что находится в вашем холодильнике, или предложить ему решить математическую задачу.
OpenAI использует GPT-3.5 и GPT-4 для реализации функций распознавания изображений. Чтобы использовать функции ChatGPT на основе изображений, нажмите кнопку фотографии (сначала вам нужно нажать кнопку «плюс» на iOS или Android), чтобы сделать снимок, или выберите существующее изображение на вашем устройстве. Вы можете задать ChatGPT несколько фотографий и использовать инструмент рисования, чтобы сосредоточиться на определенной части изображения.
В сообщении об анонсе обновления, OpenAI отметила и потенциальные негативне последствия. Приложение может имитировать голоса общественных деятелей (и обычных людей) и, возможно, совершать мошенничества. Вот почему OpenAI фокусируется на голосовых разговорах ChatGPT с использованием этой технологии и работает с избранными партнерами над другими ограниченными вариантами использования (подробнее об этом чуть позже).
Что касается изображений, OpenAI совместно с Be My Eyes разработал бесплатное приложение для слепых и слабовидящих людей. Приложение поможет им лучше понять свое окружение благодаря волонтерам, которые участвуют в видеозвонках вместе с ними.
Пользователи сказали нам, что для них ценно вести общие разговоры об изображениях, на которых изображены люди на заднем плане, например, если кто-то появляется по телевизору, пока вы пытаетесь выяснить настройки своего пульта дистанционного управления
— OpenAI.
Компания отметила, что она также ограничила возможности ChatGPT анализировать и делать прямые заявления о людях, появляющихся на изображениях, «поскольку ChatGPT не всегда точен, и система должна уважать конфиденциальность людей». Компания также опубликовала статью о принципах безопасности функциональности на основе изображений, которую она называет GPT-4 с видением.
ChatGPT достаточно хорошо понимает текст на английском языке в изображениях, чем на других языках. OpenAI утверждает, что чат-бот пока плохо работает на других языках, особенно когда речь идет о тех, которые используют нелатинские шрифты. Таким образом, это предполагает, что пользователи, не владеющие английским языком, пока не смогут полноценно использовать ChatGPT для работы с текстом в изображениях.
Тем временем Spotify объединились с OpenAI, чтобы использовать голосовую технологию еще в одном проекте. Spotify анонсировал пилотную версию инструмента под названием Voice Translation для подкастеров. Это позволяет переводить подкасты на разные языки, используя голоса людей, которые появляются в шоу. Spotify утверждает, что инструмент может сохранять речевые характеристики оригинального говорящего после преобразования его голоса на другие языки.
Для начала Spotify конвертирует избранные англоязычные шоу на несколько языков. Испанские версии некоторых книг "Armchair Expert" и "Дневник генерального директора" с эпизодами Стивена Бартлетта, которые доступны уже сейчас. Также выйдут французский и немецкий варианты.
Мечтаете ли вы о мире, в котором некоторые из лучших подкастов будут звучать на вашем родном языке? Что ж, теперь это возможно. Мы рады запустить пилотный проект Voice Translation, революционной функции на базе искусственного интеллекта, которая переводит подкасты на дополнительные языки — и все это в личном кабинете подкастера
— Spotify News.
