ChatGPT теперь поддерживает голосовые чаты и запросы на основе изображений
ChatGPT получил ряд существенных обновлений, которые позволят чат-боту обрабатывать голосовые команды и запросы на основе изображений. Пользователи смогут вести голосовой разговор с ChatGPT на Android и iOS и загружать в него изображения на всех платформах. Сейчас OpenAI внедряет новые функции. Сначала они будут доступны пользователям Plus и Enterprise, а другие пользователи получат доступ к функциям на основе изображений позже.
Вы можете включить голосовые чаты в приложении ChatGPT (перейдите в «Настройки», затем «Новые функции»), если хотите их опробовать. Нажав кнопку микрофона, вы сможете выбрать один из пяти вариантов голоса.
OpenAI утверждает, что двусторонние голосовые разговоры основаны на новой модели преобразования текста в речь, которая может генерировать «человеческий звук из текста и нескольких секунд образца речи». Пять голосов были созданы с помощью профессиональных актеров.
— OpenAI.
Функции, основанные на работе с изображениями также интересны. OpenAI утверждает, что вы можете показать чат-боту фотографию вашего гриля и спросить, почему он не запускается, попросить составить рецепт на основе того, что находится в вашем холодильнике, или предложить ему решить математическую задачу.
OpenAI использует GPT-3.5 и GPT-4 для реализации функций распознавания изображений. Чтобы использовать функции ChatGPT на основе изображений, нажмите кнопку фотографии (сначала вам нужно нажать кнопку «плюс» на iOS или Android), чтобы сделать снимок, или выберите существующее изображение на вашем устройстве. Вы можете задать ChatGPT несколько фотографий и использовать инструмент рисования, чтобы сосредоточиться на определенной части изображения.
В сообщении об анонсе обновления, OpenAI отметила и потенциальные негативне последствия. Приложение может имитировать голоса общественных деятелей (и обычных людей) и, возможно, совершать мошенничества. Вот почему OpenAI фокусируется на голосовых разговорах ChatGPT с использованием этой технологии и работает с избранными партнерами над другими ограниченными вариантами использования (подробнее об этом чуть позже).
Что касается изображений, OpenAI совместно с Be My Eyes разработал бесплатное приложение для слепых и слабовидящих людей. Приложение поможет им лучше понять свое окружение благодаря волонтерам, которые участвуют в видеозвонках вместе с ними.
— OpenAI.
Компания отметила, что она также ограничила возможности ChatGPT анализировать и делать прямые заявления о людях, появляющихся на изображениях, «поскольку ChatGPT не всегда точен, и система должна уважать конфиденциальность людей». Компания также опубликовала статью о принципах безопасности функциональности на основе изображений, которую она называет GPT-4 с видением.
ChatGPT достаточно хорошо понимает текст на английском языке в изображениях, чем на других языках. OpenAI утверждает, что чат-бот пока плохо работает на других языках, особенно когда речь идет о тех, которые используют нелатинские шрифты. Таким образом, это предполагает, что пользователи, не владеющие английским языком, пока не смогут полноценно использовать ChatGPT для работы с текстом в изображениях.
Тем временем Spotify объединились с OpenAI, чтобы использовать голосовую технологию еще в одном проекте. Spotify анонсировал пилотную версию инструмента под названием Voice Translation для подкастеров. Это позволяет переводить подкасты на разные языки, используя голоса людей, которые появляются в шоу. Spotify утверждает, что инструмент может сохранять речевые характеристики оригинального говорящего после преобразования его голоса на другие языки.
Для начала Spotify конвертирует избранные англоязычные шоу на несколько языков. Испанские версии некоторых книг "Armchair Expert" и "Дневник генерального директора" с эпизодами Стивена Бартлетта, которые доступны уже сейчас. Также выйдут французский и немецкий варианты.
— Spotify News.
Вы можете включить голосовые чаты в приложении ChatGPT (перейдите в «Настройки», затем «Новые функции»), если хотите их опробовать. Нажав кнопку микрофона, вы сможете выбрать один из пяти вариантов голоса.
OpenAI утверждает, что двусторонние голосовые разговоры основаны на новой модели преобразования текста в речь, которая может генерировать «человеческий звук из текста и нескольких секунд образца речи». Пять голосов были созданы с помощью профессиональных актеров.
Используйте свой голос, чтобы участвовать в двустороннем разговоре с ChatGPT. Разговаривайте с ним на ходу, заказывайте сказку на ночь или разрешайте споры за обеденным столом
— OpenAI.
Функции, основанные на работе с изображениями также интересны. OpenAI утверждает, что вы можете показать чат-боту фотографию вашего гриля и спросить, почему он не запускается, попросить составить рецепт на основе того, что находится в вашем холодильнике, или предложить ему решить математическую задачу.
OpenAI использует GPT-3.5 и GPT-4 для реализации функций распознавания изображений. Чтобы использовать функции ChatGPT на основе изображений, нажмите кнопку фотографии (сначала вам нужно нажать кнопку «плюс» на iOS или Android), чтобы сделать снимок, или выберите существующее изображение на вашем устройстве. Вы можете задать ChatGPT несколько фотографий и использовать инструмент рисования, чтобы сосредоточиться на определенной части изображения.
В сообщении об анонсе обновления, OpenAI отметила и потенциальные негативне последствия. Приложение может имитировать голоса общественных деятелей (и обычных людей) и, возможно, совершать мошенничества. Вот почему OpenAI фокусируется на голосовых разговорах ChatGPT с использованием этой технологии и работает с избранными партнерами над другими ограниченными вариантами использования (подробнее об этом чуть позже).
Что касается изображений, OpenAI совместно с Be My Eyes разработал бесплатное приложение для слепых и слабовидящих людей. Приложение поможет им лучше понять свое окружение благодаря волонтерам, которые участвуют в видеозвонках вместе с ними.
Пользователи сказали нам, что для них ценно вести общие разговоры об изображениях, на которых изображены люди на заднем плане, например, если кто-то появляется по телевизору, пока вы пытаетесь выяснить настройки своего пульта дистанционного управления
— OpenAI.
Компания отметила, что она также ограничила возможности ChatGPT анализировать и делать прямые заявления о людях, появляющихся на изображениях, «поскольку ChatGPT не всегда точен, и система должна уважать конфиденциальность людей». Компания также опубликовала статью о принципах безопасности функциональности на основе изображений, которую она называет GPT-4 с видением.
ChatGPT достаточно хорошо понимает текст на английском языке в изображениях, чем на других языках. OpenAI утверждает, что чат-бот пока плохо работает на других языках, особенно когда речь идет о тех, которые используют нелатинские шрифты. Таким образом, это предполагает, что пользователи, не владеющие английским языком, пока не смогут полноценно использовать ChatGPT для работы с текстом в изображениях.
Тем временем Spotify объединились с OpenAI, чтобы использовать голосовую технологию еще в одном проекте. Spotify анонсировал пилотную версию инструмента под названием Voice Translation для подкастеров. Это позволяет переводить подкасты на разные языки, используя голоса людей, которые появляются в шоу. Spotify утверждает, что инструмент может сохранять речевые характеристики оригинального говорящего после преобразования его голоса на другие языки.
Для начала Spotify конвертирует избранные англоязычные шоу на несколько языков. Испанские версии некоторых книг "Armchair Expert" и "Дневник генерального директора" с эпизодами Стивена Бартлетта, которые доступны уже сейчас. Также выйдут французский и немецкий варианты.
Мечтаете ли вы о мире, в котором некоторые из лучших подкастов будут звучать на вашем родном языке? Что ж, теперь это возможно. Мы рады запустить пилотный проект Voice Translation, революционной функции на базе искусственного интеллекта, которая переводит подкасты на дополнительные языки — и все это в личном кабинете подкастера
— Spotify News.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...