Фильтруй это: новая технология удаляет окружающий шум избирательно
Шум стал неотъемлемой частью нашей жизни. Мы постоянно слышим различные звуки, которые могут мешать нам сосредоточиться, расслабиться или просто наслаждаться тишиной. Поэтому многие люди используют шумоподавляющие наушники, которые позволяют заблокировать нежелательные звуки и погрузиться в свой собственный мир музыки или подкастов.
В то же время иногда мы хотим слышать не только то, что воспроизводится в наших наушниках, но и определенные звуки из окружающей среды, которые могут быть важными, интересными или приятными для нас. Как же выбрать, какие звуки мы будем слышать, а какие нет?
Ответ на этот вопрос может дать новая технология, разработанная учеными из Университета Вашингтона, которая называется «семантическим слухом». Эта технология использует глубокое обучение, чтобы распознавать и фильтровать определенные звуки в реальном времени, позволяя пользователю настраивать свои наушники в соответствии с его предпочтениями.
Система «семантического слуха» состоит из двух основных компонентов: шумоподавляющих наушников и смартфона, подключенного к ним по беспроводной связи. Наушники захватывают аудиосигнал из окружающей среды с помощью встроенных микрофонов, которые обычно используются для подавления шума, и передают его на смартфон, где запущено специальное приложение.
Приложение анализирует аудиосигнал с помощью нейронной сети, которая была обучена распознавать 20 различных звуковых классов, таких как сирены, плач младенцев, речь, пылесосы и щебет птиц. Пользователь может выбрать, какие звуки он хочет слышать, а какие нет, либо через интерфейс приложения, либо с помощью голосовых команд. Приложение затем возвращает на наушники только выбранные звуки, эффективно блокируя все остальные шумы.
Система «семантического слуха» имеет ряд преимуществ перед традиционными шумоподавляющими наушниками. Она позволяет пользователю контролировать, какие звуки он хочет слышать, а не просто блокировать все или ничего. Это может быть полезно для безопасности, комфорта и удовольствия пользователя. Например, пользователь может хотеть слышать сирену скорой помощи, чтобы уступить ей дорогу, но не хочет слышать гудки машин или разговоры прохожих. Или не пропустить плач ребенка, но не слышать при этом шум телевизора или посудомоечной машины. Система позволяет пользователю выбирать, какие звуки он хочет слышать, в зависимости от ситуации и настроения.
Плюс, система «семантического слуха» сохраняет пространственные ориентиры, то есть способность определять направление и расстояние до источника звука. Это достигается за счет того, что наушники захватывают аудиосигнал с двух сторон головы пользователя, а приложение обрабатывает его с учетом разницы во времени и громкости между левым и правым каналами. Таким образом, пользователь может не только слышать выбранные звуки, но и определять, откуда они исходят.
Прямо сейчас система не идеальна и имеет определенные ограничения. Одна из проблем заключается в том, что некоторые звуки могут быть слишком похожи друг на друга, чтобы их можно было легко отличить. Это может привести к тому, что алгоритм пропустит или ошибочно включит нежелательные звуки в аудиопоток пользователя. Например, если пользователь хочет слышать только речь, но в фоне играет вокальная музыка, система может не справиться с разделением этих звуков и воспроизвести их оба. Или если пользователь хочет слышать только плач своего ребенка, но в фоне есть другие детские голоса, система может не отличить их и воспроизвести их все.
Разработчики, признают эту проблему и работают над ее устранением. Они считают, что одним из способов улучшить точность и качество системы является использование более реалистичных и разнообразных данных для обучения нейронной сети, которая распознает звуки. В настоящее время они используют набор данных, называемый AudioSet, который содержит более двух миллионов видеоклипов из YouTube, размеченных по 632 звуковым классам.
Однако этот набор данных может быть недостаточно представительным для всех возможных сценариев использования алгоритма, так как он не учитывает различия в качестве, громкости, окружении и контексте звуков. Поэтому исследователи планируют собрать и использовать более специализированные и персонализированные данные, которые будут соответствовать потребностям и предпочтениям конкретных пользователей. Также они планируют расширить количество звуковых классов, которые система может распознавать и фильтровать, чтобы увеличить ее функциональность и гибкость.
В то же время иногда мы хотим слышать не только то, что воспроизводится в наших наушниках, но и определенные звуки из окружающей среды, которые могут быть важными, интересными или приятными для нас. Как же выбрать, какие звуки мы будем слышать, а какие нет?
Ответ на этот вопрос может дать новая технология, разработанная учеными из Университета Вашингтона, которая называется «семантическим слухом». Эта технология использует глубокое обучение, чтобы распознавать и фильтровать определенные звуки в реальном времени, позволяя пользователю настраивать свои наушники в соответствии с его предпочтениями.
Система «семантического слуха» состоит из двух основных компонентов: шумоподавляющих наушников и смартфона, подключенного к ним по беспроводной связи. Наушники захватывают аудиосигнал из окружающей среды с помощью встроенных микрофонов, которые обычно используются для подавления шума, и передают его на смартфон, где запущено специальное приложение.
Приложение анализирует аудиосигнал с помощью нейронной сети, которая была обучена распознавать 20 различных звуковых классов, таких как сирены, плач младенцев, речь, пылесосы и щебет птиц. Пользователь может выбрать, какие звуки он хочет слышать, а какие нет, либо через интерфейс приложения, либо с помощью голосовых команд. Приложение затем возвращает на наушники только выбранные звуки, эффективно блокируя все остальные шумы.
Система «семантического слуха» имеет ряд преимуществ перед традиционными шумоподавляющими наушниками. Она позволяет пользователю контролировать, какие звуки он хочет слышать, а не просто блокировать все или ничего. Это может быть полезно для безопасности, комфорта и удовольствия пользователя. Например, пользователь может хотеть слышать сирену скорой помощи, чтобы уступить ей дорогу, но не хочет слышать гудки машин или разговоры прохожих. Или не пропустить плач ребенка, но не слышать при этом шум телевизора или посудомоечной машины. Система позволяет пользователю выбирать, какие звуки он хочет слышать, в зависимости от ситуации и настроения.
Плюс, система «семантического слуха» сохраняет пространственные ориентиры, то есть способность определять направление и расстояние до источника звука. Это достигается за счет того, что наушники захватывают аудиосигнал с двух сторон головы пользователя, а приложение обрабатывает его с учетом разницы во времени и громкости между левым и правым каналами. Таким образом, пользователь может не только слышать выбранные звуки, но и определять, откуда они исходят.
Прямо сейчас система не идеальна и имеет определенные ограничения. Одна из проблем заключается в том, что некоторые звуки могут быть слишком похожи друг на друга, чтобы их можно было легко отличить. Это может привести к тому, что алгоритм пропустит или ошибочно включит нежелательные звуки в аудиопоток пользователя. Например, если пользователь хочет слышать только речь, но в фоне играет вокальная музыка, система может не справиться с разделением этих звуков и воспроизвести их оба. Или если пользователь хочет слышать только плач своего ребенка, но в фоне есть другие детские голоса, система может не отличить их и воспроизвести их все.
Разработчики, признают эту проблему и работают над ее устранением. Они считают, что одним из способов улучшить точность и качество системы является использование более реалистичных и разнообразных данных для обучения нейронной сети, которая распознает звуки. В настоящее время они используют набор данных, называемый AudioSet, который содержит более двух миллионов видеоклипов из YouTube, размеченных по 632 звуковым классам.
Однако этот набор данных может быть недостаточно представительным для всех возможных сценариев использования алгоритма, так как он не учитывает различия в качестве, громкости, окружении и контексте звуков. Поэтому исследователи планируют собрать и использовать более специализированные и персонализированные данные, которые будут соответствовать потребностям и предпочтениям конкретных пользователей. Также они планируют расширить количество звуковых классов, которые система может распознавать и фильтровать, чтобы увеличить ее функциональность и гибкость.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...