Categories: Технологии

Инженеры научили очки читать речь по губам

Многие существующие технологии распознавания речи по мимике используют в качестве исходных данных видеоизображение. Однако для этого необходимо, чтобы перед лицом пользователя постоянно находилась видеокамера, а это не всегда удобно и безопасно.

Поэтому сотрудники Корнельского университета из США решили применить вместо видеокамер эхолокацию. Таким образом появилась технология EchoSpeech, которая позволяет бесконтактным образом с помощью ультразвуковых волн отслеживать небольшие движения губ и кожи лица во время шепота.

Разработанный прототип устройства представляет собой обычные очки. В нижней части оправы с одной стороны расположена пара звуковых динамиков, которые излучают непрерывные частотно-модулированные ультразвуковые сигналы. Отраженные от различных участков кожи лица и губ, затем сигналы попадают на установленную с противоположной стороны очков пару микрофонов и далее анализируются нейросетью ResNet-18.

Таким образом, очки, в оправу которых встроены два миниатюрных эхолокатора, получающих информацию о малейших движениях губ и кожи лица, и алгоритм машинного обучения предсказывает произнесенные слова с человеческой точностью в 95 процентов.

Где нужны такие очки?

Разработчики протестировали устройство в нескольких реальных сценариях. Например, они использовали прототип в качестве дополнительного устройства ввода при взаимодействии с программами на смартфоне и планшете, а также для управления музыкальным плеером, запуская и переключая треки, меняя уровень громкости с помощью шепота.

На первый взгляд новинка выглядит как очередной забавный девайс, но в действительности системы распознавания речи на основе мимики человека имеют большой потенциал практического применения. Они могут использоваться не только людьми с нарушениями речи, но и в тех случаях, когда говорить вслух становится невозможно, например, из-за сильного окружающего шума или в социально неприемлемых ситуациях.

Ярослав Литвинов

Recent Posts

В Усть-Каменогорске полицейские выявили два автомобиля с одинаковыми номерами

В Усть-Каменогорске два автомобиля Toyota Alphard передвигались по городу с одним и тем же государственным…

11 часов ago

Джеки Чан выбрал режиссера для съемок фильма в Казахстане

Режиссером «Доспехи Бога: Ультиматум» с Джеки Чаном станет — Роберт Кун, сообщает Sәlem Entertainment. Джеки…

11 часов ago

В Казахстане возбуждены первые дела на дропперов

С 16 сентября 2025 года в Казахстане вступила в силу новая статья 232-1 Уголовного кодекса,…

11 часов ago

Президент Финляндии посетит Казахстан

28-29 октября по приглашению Президента Казахстана Астану с официальным визитом посетит Президент Финляндии Александр Стубб,…

13 часов ago

«Кайрат» набрал первое очко в Лиге чемпионов (видео)

В Алматы прошел матч 3 тура общего этапа Лиги чемпионов. Встреча между «Кайратом» и кипрским…

21 час ago

Президенты Казахстана и Азербайджана провели второе заседание Высшего межгосударственного совета

В Астане под председательством Касым-Жомарта Токаева и Ильхама Алиева состоялось второе заседание Высшего межгосударственного совета…

1 день ago