Исследователь Anthropic Джейкоб Коксон ушел из компании, предупредив об угрозе неконтролируемого ИИ

27-летний исследователь искусственного интеллекта Джейкоб Коксон объявил об уходе из компании Anthropic и намерении покинуть индустрию ИИ. Последние три года он занимался предварительным обучением моделей сначала в OpenAI, а затем в Anthropic. Свое решение Коксон объяснил опасениями, что ведущие лаборатории слишком быстро движутся к созданию способного самостоятельно совершенствоваться сверхинтеллекта.

"Ни одна из компаний не действует ответственно. Они несутся прямо к самосовершенствующемуся сверхинтеллекту и играют нашими жизнями", – написал Коксон. По его словам, специалисты, непосредственно занимающиеся разработкой передовых систем ИИ, всерьез допускают, что такие технологии могут представлять экзистенциальную угрозу человечеству уже до конца десятилетия, отмечает Wall Street Journal.

Коксон считает, что конкуренция между американскими компаниями, а также гонка с китайскими разработчиками заставляют лаборатории идти на компромиссы в вопросах безопасности. По его мнению, ни одна частная компания не способна ответственно создавать сверхчеловеческий ИИ без государственного вмешательства или согласованного замедления гонки. Он призвал исследователей задуматься о временном ограничении дальнейшего наращивания возможностей моделей.

Опасения Коксона публично поддержал один из ведущих специалистов Anthropic по безопасности ИИ Эван Хубингер. Он заявил, что лично оценивает вероятность того, что ИИ способен привести к гибели человечества в течение ближайшего десятилетия, более чем в 10%, и признал, что у отрасли пока нет надежного решения проблемы контроля сверхинтеллекта.

Уход Коксона стал одним из наиболее заметных случаев, когда сотрудник Anthropic покидает компанию именно из-за опасений, связанных с безопасностью ИИ. Ранее по сходным причинам из ведущих лабораторий, включая OpenAI, уходили другие исследователи, предупреждавшие о том, что развитие возможностей моделей опережает создание механизмов их контроля.