Создан интерфейс мозг-компьютер, который мгновенно переводит мысли в речь

Ученые из Университета Беркли разработали имплантат, который преобразует нейронные сигналы в речь прямо в процессе "думания".

Работа опубликована в журнале Nature Neuroscience.

Ученые разработали новый тип интерфейса мозг-компьютер (BCI). Интерфейс декодирует предложения, когда человек их продумывает, а затем произносит вслух с помощью синтетического голоса. В отличие от предыдущих версий BCI, которые могли воспроизводить звуки только после того, как пользователь заканчивал целое предложение, новый подход может одновременно распознавать слова и превращать их в речь. Это позволяет парализованному человеку поддерживать живой диалог.

Существующие версии BCI, похожи на "переписку в WhatsApp", говорит Кристиан Херфф, нейробиолог из Маастрихтского университета, Нидерланды, который не принимал участия в работе: "Я пишу предложение, вы пишете предложение, и вам нужно время, чтобы написать новое предложение. Это обмен репликами, а не нормальное живое общение".

BCI, которые транслируют речь в реальном времени, являются следующим уровнем, потому что они позволяют пользователям передавать естественную речь, объясняет Кристиан Херфф.

Участница исследования Энн потеряла способность говорить после инсульта в стволе мозга в 2005 году. Примерно 18 лет спустя она перенесла операцию по размещению тонкого как лист бумаги прямоугольника, содержащего 253 электрода, на поверхность коры ее головного мозга. Имплантат может регистрировать активность тысяч нейронов одновременно.

Исследователи персонализировали синтетический голос так, чтобы он звучал как собственный голос Энн до ее травмы, обучив алгоритмы ИИ на записях из ее свадебного видео.

Во время последнего исследования Энн беззвучно "произнесла" 100 предложений, которые состояли из заранее зафиксированного набора из 1024 слов и 50 фраз. BCI улавливал ее нейронные сигналы каждые 80 миллисекунд. Устройство производило от 47 до 90 слов в минуту (естественный разговор происходит со скоростью около 160 слов в минуту).

Херфф говорит, что BCI все еще работает с "довольно большой задержкой" по сравнению с естественным разговором. Исследования показывают, что "когда задержка составляет больше 50 миллисекунд, это начинает вас сбивать с толку", добавляет Херфф.

Соавтор исследования Эдвард Чанг говорит: "С большим количеством датчиков и улучшенной обработкой сигналов речь будет меняться и становиться быстрее и естественнее".

Видео демонстрирует как Энн произносит предложения, а BCI их озвучивает.