ИИ научился мгновенно создавать и проверять психологические тесты, но не на базе астрологии

Исследователи из Еврейского университета Иерусалима разработали метод, позволяющий модели GPT-4 автоматизировать трудоемкий процесс создания психометрических опросников.

Главная сложность традиционной психометрии заключается в сборке вопросов: они должны выглядеть простыми и независимыми, но при этом иметь устойчивые внутренние корреляции и точно отражать структуры человеческой психики.

Чтобы проверить способность языковых моделей выполнять работу, на которую психологи тратят годы, ученые поручили GPT-4 сгенерировать два опросника. Первым источником стало объемное клиническое руководство по психическим расстройствам DSM-5, а вторым – учебник по астрологии, который как бы описывает человека по знакам зодиака.

После этого обе анкеты, сгенерированные ИИ, раздали 600 участникам, параллельно проходившим классические психологические тесты. Опросник, созданный ИИ-моделью, на базе DSM-5 показал высокую внутреннюю согласованность, то есть сформулированные ИИ вопросы успешно объединились в реальные психологические кластеры, отражающие черты характера и уровень тревожности.

Астрологический тест ожидаемо распался: прописанные в нем связи между чертами личности, определенными знаками зодиака, не подтвердились на реальной популяции. Работа опубликована в журнале iScience.

Но главным открытием стало то, что GPT-4 смогла точно предсказать усредненные результаты опроса еще до того, как анкеты попали к реальным людям. Нейросеть заранее спрогнозировала средние ответы и математические корреляции между вопросами, показав, что она самостоятельно уловила устройство человеческой личности в масштабах общества.

"Учитывая, что черты личности отражаются в языке, большие языковые модели могли усвоить структуру человеческой личности как естественный побочный продукт своего обучения. Хотя модели не обучали специально психологии или теориям личности, эти знания, как выяснилось, уже заложены в языке, на котором модели учатся", – отмечает ведущий автор исследования Ротем Монса.

Авторы делают оговорку, что модель обучалась преимущественно на англоязычных текстах, созданных в западных культурах, и сейчас исследователи тестируют метод на других языках. Тем не менее подход уже доказал свою эффективность как инструмент для создания и валидации профессиональных психологических тестов.