Наушники с ИИ позволяют слушать одного человека в толпе, взглянув на него лишь раз
В Вашингтонском университете (UW) разработали систему искусственного интеллекта, которая позволяет пользователю в наушниках посмотреть на говорящего человека в течение трёх-пяти секунд, а затем слушать только его голос, даже на ходу среди толпы и без дополнительной настройки.
Доступные на рынке наушники с шумоподавлением очень хорошо зарекомендовали себя. Но возможность игнорировать определённые звуки и вычленять другие по-прежнему бросает вызов исследователям.
Разработанную в UW систему создатели называют TSH, от Target Speech Hearing, то есть целевое прослушивание речи. TSH игнорирует все посторонние звуки вокруг и воспроизводит только голос целевого говорящего в режиме реального времени.
Старший соавтор изобретения Шьям Голлакота отметил, что многие представляют ИИ в первую очередь как чат-бота, который отвечает на вопросы. Но при воплощении проекта с умными наушниками речь шла о таком ИИ, который изменяет слышимое пользователю в наушниках, как он того пожелает. С помощью новых устройств можно чётко слышать определенного говорящего среди других болтающих людей.
Чтобы воспользоваться TSH, человек в наушниках с микрофонами нажимает кнопку, направив голову в сторону говорящего. Затем звуковые волны от голоса собеседника должны достигать микрофонов на обеих сторонах гарнитуры одновременно. Погрешность при этом составляет 16 градусов. Наушники посылают сигнал на встроенный компьютер, где программное обеспечение с машинным обучением запоминает желаемые вокальные отличия (паттерны) говорящего. Система улавливает голос говорящего и продолжает воспроизводить его для слушателя, даже когда человек в наушниках и тот, кого слушают, перемещаются. Способность TSH фокусироваться на конкретном голосе в процессе улучшается, получая от говорящего всё больше и больше обучающих данных.
Изобретатели протестировали свою систему на 21 человеке, которые оценили чистоту голоса того, чью речь отслеживала TSH. И сказали, что она была примерно вдвое лучше по сравнению с «сырым», обычным звучанием.
Концепт основан на предыдущем исследовании тех же учёных, которое они назвали «семантический слух». Тот научный проект позволял людям в наушниках выбирать определённые типы предпочтительных для прослушивания звуков из окружающего шума, например, или пение птиц, или голоса людей.
Теперь система TSH может фиксироваться только на одном говорящем, при условии, что другой громкий голос не доносится с той же стороны. Видимо, если бы парочка в обнимку трещала наперебой, TSH бы запуталась. Но когда пользователь недоволен качеством звука, он может перезапустить выбор цели с помощью динамика, чтобы улучшить чёткость.
Теперь те же изобретатели займутся улучшением ИИ для как для наушников, так и для слуховых аппаратов.
Доступные на рынке наушники с шумоподавлением очень хорошо зарекомендовали себя. Но возможность игнорировать определённые звуки и вычленять другие по-прежнему бросает вызов исследователям.
Разработанную в UW систему создатели называют TSH, от Target Speech Hearing, то есть целевое прослушивание речи. TSH игнорирует все посторонние звуки вокруг и воспроизводит только голос целевого говорящего в режиме реального времени.
Старший соавтор изобретения Шьям Голлакота отметил, что многие представляют ИИ в первую очередь как чат-бота, который отвечает на вопросы. Но при воплощении проекта с умными наушниками речь шла о таком ИИ, который изменяет слышимое пользователю в наушниках, как он того пожелает. С помощью новых устройств можно чётко слышать определенного говорящего среди других болтающих людей.
Чтобы воспользоваться TSH, человек в наушниках с микрофонами нажимает кнопку, направив голову в сторону говорящего. Затем звуковые волны от голоса собеседника должны достигать микрофонов на обеих сторонах гарнитуры одновременно. Погрешность при этом составляет 16 градусов. Наушники посылают сигнал на встроенный компьютер, где программное обеспечение с машинным обучением запоминает желаемые вокальные отличия (паттерны) говорящего. Система улавливает голос говорящего и продолжает воспроизводить его для слушателя, даже когда человек в наушниках и тот, кого слушают, перемещаются. Способность TSH фокусироваться на конкретном голосе в процессе улучшается, получая от говорящего всё больше и больше обучающих данных.
Изобретатели протестировали свою систему на 21 человеке, которые оценили чистоту голоса того, чью речь отслеживала TSH. И сказали, что она была примерно вдвое лучше по сравнению с «сырым», обычным звучанием.
Концепт основан на предыдущем исследовании тех же учёных, которое они назвали «семантический слух». Тот научный проект позволял людям в наушниках выбирать определённые типы предпочтительных для прослушивания звуков из окружающего шума, например, или пение птиц, или голоса людей.
Теперь система TSH может фиксироваться только на одном говорящем, при условии, что другой громкий голос не доносится с той же стороны. Видимо, если бы парочка в обнимку трещала наперебой, TSH бы запуталась. Но когда пользователь недоволен качеством звука, он может перезапустить выбор цели с помощью динамика, чтобы улучшить чёткость.
Теперь те же изобретатели займутся улучшением ИИ для как для наушников, так и для слуховых аппаратов.
- Дмитрий Ладыгин
- youtu.be/ArGKgodEUSo
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Жуткие тайны из пасти людоедов
Ученые выяснили, чем на самом деле питались львы-каннибалы из Цаво....
Английский альпинист нашёлся спустя век. Правда, есть нюанс
На Эвересте обнаружили ногу британского исследователя....
Спустя 500 лет останки Колумба наконец-то обнаружены!
Ученым понадобилось более 20 лет, чтобы доказать их подлинность....
В Царской долине найден один из старейших скифских курганов
Как оказалось, здесь приносили человеческие жертвы 2000 лет подряд....
Миссия Илона Маска может погубить Марс
Эксперты пришли в ужас от планов миллиардера....
Таинственные области в мантии Земли оказались не тем, чем их считали ученые
Новое исследование показало, что все может быть намного проще....
Невероятный прорыв в науке: два человека смогли осознанно пообщаться во сне
Похоже, в нашей жизни скоро начнется новая эра....
Дотанцевался: у мужчины после многих лет брейк-данса появилась «дыра в черепе»
Врачи в шоке, а сами танцоры говорят, что это дело житейское....
Два подводных газовоза «Пилигрим» смогут заменить целый газопровод
Эксперты уверены, что новый российский проект в корне изменит систему грузоперевозок в Арктике....
Одно из древнейших животных на Земле обнаружили в австралийской глуши
Полмиллиарда лет назад был взрывной рост разнообразия видов....
Археологи восстановили приёмы боя на копьях в бронзовом веке
Экспериментальная археология проливает свет на технику обращения с оружием....
Находка окаменелостей может переписать историю не только Калифорнии, но даже США
Киты, мегалодоны, саблезубые лососи — и все это в одном месте!...
Контрольный выстрел в динозавров
Выяснилось, что астероид-убийца был не один....
Артроплевра: травоядный монстр длиной 2,7 м с головой хищника
Учёные воссоздали голову древнего членистоногого....
Доказано генетиками: Неандертальцы не вымерли
Они — это мы, хотя бы отчасти....
Набта-Плая — таинственный каменный круг в пустыне и самая древняя обсерватория в мире
Ученые говорят, что в свое время мастерство строителей круга превосходило даже зодчих Египта....