Многие существующие технологии распознавания речи по мимике используют в качестве исходных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, а это не всегда удобно и безопасно.
Поэтому сотрудники Корнельского университета из США решили применить вместо видеокамер эхолокацию. Таким образом появилась технология EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота.
Разработанный прототип устройства представляет собой обычные очки. В нижней части оправы с одной стороны расположена пара звуковых динамиков, которые излучают непрерывные частотно-модулированные ультразвуковые сигналы. Отраженные от различных участков кожи лица и губ, затем сигналы попадают на установленную с противоположной стороны очков пару микрофонов и далее анализируются нейросетью ResNet-18.
Таким образом, очки, в оправу которых встроены два миниатюрных эхолокатора, получающих информацию о малейших движениях губ и кожи лица, и алгоритм машинного обучения предсказывает произнесенные слова с человеческой точностью в 95 процентов.
Разработчики протестировали устройство в нескольких реальных сценариях. Например, они использовали прототип в качестве дополнительного устройства ввода при взаимодействии с программами на смартфоне и планшете, а также для управления музыкальным плеером, запуская и переключая треки, меняя уровень громкости с помощью шепота.
На первый взгляд новинка выглядит как очередной забавный девайс, но в действительности системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.
В Усть-Каменогорске два автомобиля Toyota Alphard передвигались по городу с одним и тем же государственным…
Режиссером «Доспехи Бога: Ультиматум» с Джеки Чаном станет — Роберт Кун, сообщает Sәlem Entertainment. Джеки…
С 16 сентября 2025 года в Казахстане вступила в силу новая статья 232-1 Уголовного кодекса,…
28-29 октября по приглашению Президента Казахстана Астану с официальным визитом посетит Президент Финляндии Александр Стубб,…
В Алматы прошел матч 3 тура общего этапа Лиги чемпионов. Встреча между «Кайратом» и кипрским…
В Астане под председательством Касым-Жомарта Токаева и Ильхама Алиева состоялось второе заседание Высшего межгосударственного совета…