Очки с искусственным интеллектом понимают беззвучную речь

Исследователи из Корнельского университета, штат Нью-Йорк, разработали интерфейс распознавания беззвучной речи, который использует акустическое зондирование и искусственный интеллект (ИИ) для непрерывного распознавания до 31 беззвучной команды.

Носимый интерфейс с низким энергопотреблением, получил название EchoSpeech («Эхо-речь»). Устройству требуется всего несколько минут для обучения пользователя, прежде чем оно распознает команды, и затем систему можно запускать на смартфоне.


— Руидонг Чжан, ведущий автор EchoSpeech, докторант кафедры информатики.

В своём нынешнем виде EchoSpeech можно также использовать для общения с другими людьми через смартфон в местах, где звучащая речь неудобна или неуместна, например, в шумном ресторане или тихой библиотеке. Интерфейс беззвучной речи также можно совместить со стилусом и использовать с программным обеспечением для проектирования, таким как CAD, чтобы обходиться без клавиатуры и мыши.

Оснащённые парой микрофонов и динамиков размером меньше карандашных ластиков, очки EchoSpeech превращаются в носимую гидроакустическую систему на базе ИИ, посылающую и принимающую звуковые волны на основе движений лица и рта в частности. Алгоритм глубокого обучения затем анализирует эти профили в режиме реального времени с точностью около 95%.

Чен Чжан, доцент кафедры информатики и директор лаборатории интеллектуальных компьютерных интерфейсов для будущих взаимодействий (SciFi) в Корнелле, пояснил, что для восприятия данных сонар направляют на говорящего. В итоге изобретение в виде очков получилось маленьким, экономичным, а также сохраняет конфиденциальность.

Большинство технологий распознавания беззвучной речи ограничены набором команд и требуют, чтобы пользователь смотрел на камеру или носил её, что непрактично и неосуществимо, добавил Чен Чжан. По его словам, существуют также серьёзные проблемы с конфиденциальностью, связанные с носимыми камерами — как для пользователя, так и для тех, с кем тот взаимодействует.


— Франсуа Гимбретьер, профессор информатики.

А поскольку данные обрабатываются локально на смартфоне, а не загружаются в облако, конфиденциальная информация не выходит из-под контроля.