Наушники с ИИ позволяют слушать одного человека в толпе, взглянув на него лишь раз

В Вашингтонском университете (UW) разработали систему искусственного интеллекта, которая позволяет пользователю в наушниках посмотреть на говорящего человека в течение трёх-пяти секунд, а затем слушать только его голос, даже на ходу среди толпы и без дополнительной настройки.


Доступные на рынке наушники с шумоподавлением очень хорошо зарекомендовали себя. Но возможность игнорировать определённые звуки и вычленять другие по-прежнему бросает вызов исследователям.

Разработанную в UW систему создатели называют TSH, от Target Speech Hearing, то есть целевое прослушивание речи. TSH игнорирует все посторонние звуки вокруг и воспроизводит только голос целевого говорящего в режиме реального времени.

Старший соавтор изобретения Шьям Голлакота отметил, что многие представляют ИИ в первую очередь как чат-бота, который отвечает на вопросы. Но при воплощении проекта с умными наушниками речь шла о таком ИИ, который изменяет слышимое пользователю в наушниках, как он того пожелает. С помощью новых устройств можно чётко слышать определенного говорящего среди других болтающих людей.

Чтобы воспользоваться TSH, человек в наушниках с микрофонами нажимает кнопку, направив голову в сторону говорящего. Затем звуковые волны от голоса собеседника должны достигать микрофонов на обеих сторонах гарнитуры одновременно. Погрешность при этом составляет 16 градусов. Наушники посылают сигнал на встроенный компьютер, где программное обеспечение с машинным обучением запоминает желаемые вокальные отличия (паттерны) говорящего. Система улавливает голос говорящего и продолжает воспроизводить его для слушателя, даже когда человек в наушниках и тот, кого слушают, перемещаются. Способность TSH фокусироваться на конкретном голосе в процессе улучшается, получая от говорящего всё больше и больше обучающих данных.

Изобретатели протестировали свою систему на 21 человеке, которые оценили чистоту голоса того, чью речь отслеживала TSH. И сказали, что она была примерно вдвое лучше по сравнению с «сырым», обычным звучанием.

Концепт основан на предыдущем исследовании тех же учёных, которое они назвали «семантический слух». Тот научный проект позволял людям в наушниках выбирать определённые типы предпочтительных для прослушивания звуков из окружающего шума, например, или пение птиц, или голоса людей.

Теперь система TSH может фиксироваться только на одном говорящем, при условии, что другой громкий голос не доносится с той же стороны. Видимо, если бы парочка в обнимку трещала наперебой, TSH бы запуталась. Но когда пользователь недоволен качеством звука, он может перезапустить выбор цели с помощью динамика, чтобы улучшить чёткость.

Теперь те же изобретатели займутся улучшением ИИ для как для наушников, так и для слуховых аппаратов.