據(jù)外媒 Engadget 今日報(bào)道,OpenAI 和 Anthropic 共同宣布,同意評估彼此公開系統(tǒng)的安全對齊情況,并共享分析結(jié)果。總體來看,兩家公司產(chǎn)品各有缺陷,也提供了改進(jìn)未來安全測試的思路。
Anthropic 表示,它評估了 OpenAI 模型在諂媚、告密、自我保護(hù)、支持人類濫用,以及破壞 AI 安全評估和監(jiān)管相關(guān)能力方面的表現(xiàn)。評估顯示,OpenAI 的 o3 和 o4-mini 模型表現(xiàn)與 Anthropic 自家模型一致,但 GPT-4o 和 GPT-4.1 通用模型可能存在被濫用的風(fēng)險。除 o3 外,其他測試模型在一定程度上都存在諂媚行為。
Anthropic 的測試未包含 OpenAI 最新發(fā)布的 GPT-5。GPT-5 配備 Safe Completions 功能,旨在保護(hù)用戶和公眾免受潛在危險查詢的影響。據(jù)IT之家近期的報(bào)道,OpenAI 曾因一名青少年在數(shù)月內(nèi)與 ChatGPT 討論自殺計(jì)劃而最終自殺,面臨首起不當(dāng)死亡訴訟。
另一方面,OpenAI 對 Anthropic 的 Claude 模型進(jìn)行了指令層級、越獄、幻覺和策劃能力測試。Claude 模型在指令層級測試中表現(xiàn)良好,在幻覺測試中拒絕提供回答的比例較高。這意味著在不確定性可能導(dǎo)致其回答錯誤的情況下,Claude 不太可能提供答案。
在此前 OpenAI 被指在構(gòu)建新 GPT 模型時違反 Anthropic 服務(wù)條款,使用程序員操作 Claude,導(dǎo)致 Anthropic 本月初禁止 OpenAI 使用其工具的背景下,兩家公司開展聯(lián)合評估的舉措頗受關(guān)注。不過,隨著越來越多批評者和法律專家尋求保護(hù)用戶,尤其是未成年人的指導(dǎo)方針,AI 工具的安全性正成為更加重要的問題。