Наушники с ИИ позволяют слушать одного человека в толпе, взглянув на него лишь раз
В Вашингтонском университете (UW) разработали систему искусственного интеллекта, которая позволяет пользователю в наушниках посмотреть на говорящего человека в течение трёх-пяти секунд, а затем слушать только его голос, даже на ходу среди толпы и без дополнительной настройки.
Доступные на рынке наушники с шумоподавлением очень хорошо зарекомендовали себя. Но возможность игнорировать определённые звуки и вычленять другие по-прежнему бросает вызов исследователям.
Разработанную в UW систему создатели называют TSH, от Target Speech Hearing, то есть целевое прослушивание речи. TSH игнорирует все посторонние звуки вокруг и воспроизводит только голос целевого говорящего в режиме реального времени.
Старший соавтор изобретения Шьям Голлакота отметил, что многие представляют ИИ в первую очередь как чат-бота, который отвечает на вопросы. Но при воплощении проекта с умными наушниками речь шла о таком ИИ, который изменяет слышимое пользователю в наушниках, как он того пожелает. С помощью новых устройств можно чётко слышать определенного говорящего среди других болтающих людей.
Чтобы воспользоваться TSH, человек в наушниках с микрофонами нажимает кнопку, направив голову в сторону говорящего. Затем звуковые волны от голоса собеседника должны достигать микрофонов на обеих сторонах гарнитуры одновременно. Погрешность при этом составляет 16 градусов. Наушники посылают сигнал на встроенный компьютер, где программное обеспечение с машинным обучением запоминает желаемые вокальные отличия (паттерны) говорящего. Система улавливает голос говорящего и продолжает воспроизводить его для слушателя, даже когда человек в наушниках и тот, кого слушают, перемещаются. Способность TSH фокусироваться на конкретном голосе в процессе улучшается, получая от говорящего всё больше и больше обучающих данных.
Изобретатели протестировали свою систему на 21 человеке, которые оценили чистоту голоса того, чью речь отслеживала TSH. И сказали, что она была примерно вдвое лучше по сравнению с «сырым», обычным звучанием.
Концепт основан на предыдущем исследовании тех же учёных, которое они назвали «семантический слух». Тот научный проект позволял людям в наушниках выбирать определённые типы предпочтительных для прослушивания звуков из окружающего шума, например, или пение птиц, или голоса людей.
Теперь система TSH может фиксироваться только на одном говорящем, при условии, что другой громкий голос не доносится с той же стороны. Видимо, если бы парочка в обнимку трещала наперебой, TSH бы запуталась. Но когда пользователь недоволен качеством звука, он может перезапустить выбор цели с помощью динамика, чтобы улучшить чёткость.
Теперь те же изобретатели займутся улучшением ИИ для как для наушников, так и для слуховых аппаратов.
Доступные на рынке наушники с шумоподавлением очень хорошо зарекомендовали себя. Но возможность игнорировать определённые звуки и вычленять другие по-прежнему бросает вызов исследователям.
Разработанную в UW систему создатели называют TSH, от Target Speech Hearing, то есть целевое прослушивание речи. TSH игнорирует все посторонние звуки вокруг и воспроизводит только голос целевого говорящего в режиме реального времени.
Старший соавтор изобретения Шьям Голлакота отметил, что многие представляют ИИ в первую очередь как чат-бота, который отвечает на вопросы. Но при воплощении проекта с умными наушниками речь шла о таком ИИ, который изменяет слышимое пользователю в наушниках, как он того пожелает. С помощью новых устройств можно чётко слышать определенного говорящего среди других болтающих людей.
Чтобы воспользоваться TSH, человек в наушниках с микрофонами нажимает кнопку, направив голову в сторону говорящего. Затем звуковые волны от голоса собеседника должны достигать микрофонов на обеих сторонах гарнитуры одновременно. Погрешность при этом составляет 16 градусов. Наушники посылают сигнал на встроенный компьютер, где программное обеспечение с машинным обучением запоминает желаемые вокальные отличия (паттерны) говорящего. Система улавливает голос говорящего и продолжает воспроизводить его для слушателя, даже когда человек в наушниках и тот, кого слушают, перемещаются. Способность TSH фокусироваться на конкретном голосе в процессе улучшается, получая от говорящего всё больше и больше обучающих данных.
Изобретатели протестировали свою систему на 21 человеке, которые оценили чистоту голоса того, чью речь отслеживала TSH. И сказали, что она была примерно вдвое лучше по сравнению с «сырым», обычным звучанием.
Концепт основан на предыдущем исследовании тех же учёных, которое они назвали «семантический слух». Тот научный проект позволял людям в наушниках выбирать определённые типы предпочтительных для прослушивания звуков из окружающего шума, например, или пение птиц, или голоса людей.
Теперь система TSH может фиксироваться только на одном говорящем, при условии, что другой громкий голос не доносится с той же стороны. Видимо, если бы парочка в обнимку трещала наперебой, TSH бы запуталась. Но когда пользователь недоволен качеством звука, он может перезапустить выбор цели с помощью динамика, чтобы улучшить чёткость.
Теперь те же изобретатели займутся улучшением ИИ для как для наушников, так и для слуховых аппаратов.
- Дмитрий Ладыгин
- youtu.be/ArGKgodEUSo
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...
Запретный остров у берегов Исландии: суша, появившаяся в 1963 году, до сих пор закрыта почти для всех
Но ученым надо поторопиться, уникальный объект исчезает в буквальном смысле на глазах...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Как же на самом деле умерла Клеопатра: почему даже древние историки не смогли прийти к согласию в этом вопросе
Скорее всего, историю об укусе змеи запустил лично император Октавиан, чтобы опорочить египетскую царицу...
Прорыв в берестяных грамотах: 445 неизвестных слов, эффект Лукерьи, реальный русский язык XI–XV веков
Поразительно, но произношение 900-летней давности до сих пор присутствует в нашем языке...
Метеорит и пришельцы ни при чем: российский геолог объяснил происхождение аномалии в сибирской тайге
Кольцевую структуру видно даже со спутника, но добраться до нее крайне сложно...
Америка проигрывает болезни, которую когда-то победила с большим трудом
Положение США усугубляют действия президента Трампа и его чиновников...
Древние деревья помогли раскрыть дело 3500-летней давности: когда пал Вавилон?
Ученые до последнего момента не знали этой даты, потому что в великом городе не было… нормального календаря...
Неожиданный поворот в деле таинственного астероида 1998 KY26: он может быть… потерянным советским зондом
В этом уверен американский астрофизик Аве Лоеб. Какие доказательства предлагает известный ученый?...
Верблюды-вампиры бродили по Америке 13 миллионов лет назад: зачем им вообще понадобились такие жуткие клыки
Ученые говорят: это была эпоха, когда североамериканским континентом правили верблюды...
Не НЛО, но что тогда: ученая объяснила появление светящихся столбов над Барнаулом
Что интересно, это уникальное явление можно увидеть не только зимой и не только в Сибири...
200-летний секрет казненной королевы: почему Мария-Антуанетта была уже обречена на скорую и мучительную гибель
Одежда рассказала не только о последних днях королевы, но и открыла судьбу 9-летнего французского принца...
Куда бить по астероиду, чтобы спасти Землю: ученые рассчитали идеальный ядерный выстрел
Почему раньше так не умели и насколько при выстреле важна форма космического тела...
Эти странные деревья изменили облик всей планеты: в Англии найден самый древний лес в истории
Поразительно, но Земля стала другой всего за 4 миллиона лет. И это событие старше колец Сатурна...