Anthropic предупреждает: продвинутый ИИ может представлять "экзистенциальную угрозу человечеству"

Компания Anthropic, разработчик чат-бота Claude, предупредила потенциальных инвесторов, что дальнейшее развитие искусственного интеллекта может привести к "катастрофическим или экзистенциальным рискам для человечества". Такое предупреждение содержится в проспекте, подготовленном компанией к первичному размещению акций, сообщает Reuters.

Описывая возможные риски, Anthropic указывает, что наиболее мощные модели в будущем могут пытаться скрывать информацию, манипулировать людьми или сопротивляться отключению. Компания признает, что оценивать безопасность таких систем становится все сложнее, поскольку модели способны распознавать, когда их тестируют или контролируют, и соответствующим образом менять свое поведение.

Раздел, посвященный рискам, занимает около 80 страниц из 261 страницы проспекта. Anthropic одновременно подчеркивает огромный экономический потенциал ИИ, сравнивая возможное влияние технологии с промышленной революцией, электричеством и интернетом. При этом компания признает, что пока невозможно надежно оценить ни вероятность самых тяжелых сценариев, ни эффективность мер, которые должны им противостоять.

Reuters отмечает, что Anthropic позиционирует себя как одного из лидеров отрасли в области безопасности ИИ, однако сама компания признает конфликт между расходами на безопасность и необходимостью быстро выпускать новые модели в условиях жесткой конкуренции. В течение одной из приведенных в документах недель на исследования безопасности приходилось около 6% вычислительных ресурсов Anthropic.

Anthropic была основана в 2021 году бывшими сотрудниками OpenAI Дарио и Даниэлой Амодеи и другими исследователями. Компания готовится к одному из наиболее ожидаемых IPO в технологическом секторе. Среди ее крупнейших инвесторов – Amazon и Google.