Многие существующие технологии распознавания речи по мимике используют в качестве исходных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, а это не всегда удобно и безопасно.

Поэтому сотрудники Корнельского университета из США решили применить вместо видеокамер эхолокацию. Таким образом появилась технология EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота.

Разработанный прототип устройства представляет собой обычные очки. В нижней части оправы с одной стороны расположена пара звуковых динамиков, которые излучают непрерывные частотно-модулированные ультразвуковые сигналы. Отраженные от различных участков кожи лица и губ, затем сигналы попадают на установленную с противоположной стороны очков пару микрофонов и далее анализируются нейросетью ResNet-18.

Таким образом, очки, в оправу которых встроены два миниатюрных эхолокатора, получающих информацию о малейших движениях губ и кожи лица, и алгоритм машинного обучения предсказывает произнесенные слова с человеческой точностью в 95 процентов.

Где нужны такие очки?

Разработчики протестировали устройство в нескольких реальных сценариях. Например, они использовали прототип в качестве дополнительного устройства ввода при взаимодействии с программами на смартфоне и планшете, а также для управления музыкальным плеером, запуская и переключая треки, меняя уровень громкости с помощью шепота.

На первый взгляд новинка выглядит как очередной забавный девайс, но в действительности системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.