Как мозг превращает звук и мысль в связный разговор. Израильское исследование

Ученые Еврейского университета Иерусалима построили систему, распознающую активность мозга при разговоре. Система поможет в создании устройств для людей с трудностями речи.

Исследование, проведенное под руководством доктора Ариэля Гольдштейна совместно с коллегами из Google Research и Принстонского университета, позволило создать вычислительную систему для изучения нейронных основ человеческих разговоров.

Работа опубликована в журнале Nature Human Behaviour.

Ученые наблюдали 4-х пациентов из отделения эпилепсии клиники Нью-Йоркского Университета (NYU Langone Health). Всем пациентам в клинических целях были временно установлены электродные массивы на кору мозга. Это традиционная техника обследования, которая позволяет наблюдать активность мозга перед хирургическим вмешательством при эпилепсии. Пациенты разговаривали на любые тема в любое время. Было сделано 50 часов (289971 слово) нейронных записей во время восприятия и понимания речи и 50 часов (230238 слов) во время произнесения слов.

Для анализа данных команда использовала модель преобразования речи в текст Wisper, разработанную компанией OpenAI. Модель помогла разделить язык на три уровня: звуки (акустика), речевые паттерны (слова и предложения) и значение слов (семантика речи). Каждый уровень был сопоставлен с активностью мозга.

Модель правильно соотносила различные языковые функции с активностью различных участков мозга. Например, области, участвующие в восприятии речи (в первую очередь слуховая кора), соответствовали акустическому и словесному уровням, а области, участвующие в понимании, соответствовали активности нейронов, отвечающих за значения слов.

Исследование показало, что мозг обрабатывает язык в определенной последовательности. Еще до того, как человек заговорит, мозг переходит от обдумывания слов к формированию звуков. При восприятии речи мозг работает в обратном направлении. Чтобы разговор был непринужденным мозг немного "забегает вперед", например, пока он еще слушает, он уже обдумывает. Поэтому в разговоре не возникает больших пауз.

"Наши результаты помогают понять, как мозг обрабатывает разговоры в реальной жизни, – говорит доктор Гольдштейн. – Соединяя различные слои языка, мы раскрываем механику того, что человек делает совершенно естественно, того, как мы говорим и понимаем друг друга".

Это исследование имеет большое потенциальное применение – от улучшения технологии распознавания речи до разработки более эффективных инструментов для людей с проблемами в общении.