Исследование: мозг человека и ИИ по-разному воспринимают и обрабатывают речь
Ученые Хайфского Техниона показали, что мозг при обработке речевого потока постоянно делает "резюме" услышанного, а ИИ обрабатывает весь текст целиком.
Работа опубликована в журнале Nature Communications.
В исследовании анализировались фМРТ-сканы мозга 219 участников во время прослушивания историй. Исследователи сравнили активность мозга с предсказаниями существующих больших языковых моделей (LLM). Ученые обнаружили, что модели ИИ точно предсказывают активность мозга для коротких текстов (несколько десятков слов). Но для более длинных текстов модели ИИ не смогли предсказать активность мозга.
Причина оказалась в разном характере обработки длинных текстов мозгом и LLM. Хотя и человеческий мозг, и LLM обрабатывают короткие тексты целиком, мозг меняет стратегию для более длинных текстов. Мозг не может обрабатывать все слова длинного текста одновременно, он сжимает информацию – делает контекстуальное резюме, которое использует для интерпретации следующих слов. В отличие от этого, модели ИИ обрабатывают весь ранее услышанный текст сразу, поэтому им не требуется механизм суммирования. Это фундаментальное различие объясняет, почему ИИ испытывает трудности с предсказанием активности человеческого мозга при прослушивании длинных текстов.
Чтобы проверить свою теорию, исследователи разработали улучшенную модель ИИ, имитирующую процесс суммирования информации в мозге. Вместо обработки всего текста сразу модель создавала динамические резюме и использовала их для интерпретации следующего текста. Эта ИИ-модель значительно лучше предсказала активность мозга, подтверждая идею о том, что человеческий мозг постоянно суммирует полученную информацию для понимания новой.
Эта способность позволяет мозгу обрабатывать огромные объемы информации с течением времени, будь то лекция, книга или подкаст. Нейробиологический анализ позволил описать области мозга, участвующие как в краткосрочной, так и в долгосрочной обработке текста, выделяя области мозга, ответственные за суммирование контекста, что и позволяет нам понимать продолжающиеся повествования.