Фильтруй это: новая технология удаляет окружающий шум избирательно

Шум стал неотъемлемой частью нашей жизни. Мы постоянно слышим различные звуки, которые могут мешать нам сосредоточиться, расслабиться или просто наслаждаться тишиной. Поэтому многие люди используют шумоподавляющие наушники, которые позволяют заблокировать нежелательные звуки и погрузиться в свой собственный мир музыки или подкастов.


В то же время иногда мы хотим слышать не только то, что воспроизводится в наших наушниках, но и определенные звуки из окружающей среды, которые могут быть важными, интересными или приятными для нас. Как же выбрать, какие звуки мы будем слышать, а какие нет?

Ответ на этот вопрос может дать новая технология, разработанная учеными из Университета Вашингтона, которая называется «семантическим слухом». Эта технология использует глубокое обучение, чтобы распознавать и фильтровать определенные звуки в реальном времени, позволяя пользователю настраивать свои наушники в соответствии с его предпочтениями.

Система «семантического слуха» состоит из двух основных компонентов: шумоподавляющих наушников и смартфона, подключенного к ним по беспроводной связи. Наушники захватывают аудиосигнал из окружающей среды с помощью встроенных микрофонов, которые обычно используются для подавления шума, и передают его на смартфон, где запущено специальное приложение.

Приложение анализирует аудиосигнал с помощью нейронной сети, которая была обучена распознавать 20 различных звуковых классов, таких как сирены, плач младенцев, речь, пылесосы и щебет птиц. Пользователь может выбрать, какие звуки он хочет слышать, а какие нет, либо через интерфейс приложения, либо с помощью голосовых команд. Приложение затем возвращает на наушники только выбранные звуки, эффективно блокируя все остальные шумы.

Система «семантического слуха» имеет ряд преимуществ перед традиционными шумоподавляющими наушниками. Она позволяет пользователю контролировать, какие звуки он хочет слышать, а не просто блокировать все или ничего. Это может быть полезно для безопасности, комфорта и удовольствия пользователя. Например, пользователь может хотеть слышать сирену скорой помощи, чтобы уступить ей дорогу, но не хочет слышать гудки машин или разговоры прохожих. Или не пропустить плач ребенка, но не слышать при этом шум телевизора или посудомоечной машины. Система позволяет пользователю выбирать, какие звуки он хочет слышать, в зависимости от ситуации и настроения.

Плюс, система «семантического слуха» сохраняет пространственные ориентиры, то есть способность определять направление и расстояние до источника звука. Это достигается за счет того, что наушники захватывают аудиосигнал с двух сторон головы пользователя, а приложение обрабатывает его с учетом разницы во времени и громкости между левым и правым каналами. Таким образом, пользователь может не только слышать выбранные звуки, но и определять, откуда они исходят.

Прямо сейчас система не идеальна и имеет определенные ограничения. Одна из проблем заключается в том, что некоторые звуки могут быть слишком похожи друг на друга, чтобы их можно было легко отличить. Это может привести к тому, что алгоритм пропустит или ошибочно включит нежелательные звуки в аудиопоток пользователя. Например, если пользователь хочет слышать только речь, но в фоне играет вокальная музыка, система может не справиться с разделением этих звуков и воспроизвести их оба. Или если пользователь хочет слышать только плач своего ребенка, но в фоне есть другие детские голоса, система может не отличить их и воспроизвести их все.

Разработчики, признают эту проблему и работают над ее устранением. Они считают, что одним из способов улучшить точность и качество системы является использование более реалистичных и разнообразных данных для обучения нейронной сети, которая распознает звуки. В настоящее время они используют набор данных, называемый AudioSet, который содержит более двух миллионов видеоклипов из YouTube, размеченных по 632 звуковым классам.

Однако этот набор данных может быть недостаточно представительным для всех возможных сценариев использования алгоритма, так как он не учитывает различия в качестве, громкости, окружении и контексте звуков. Поэтому исследователи планируют собрать и использовать более специализированные и персонализированные данные, которые будут соответствовать потребностям и предпочтениям конкретных пользователей. Также они планируют расширить количество звуковых классов, которые система может распознавать и фильтровать, чтобы увеличить ее функциональность и гибкость.