​AI Agent真實工作表現低迷 Semianalysis報告揭頂尖模型僅12%效能 

圖/本報資料庫

商傳媒|責任編輯/綜合外電報導根據《The Decoder》報導,市場研究機構 Semianalysis Capital Management LLC(簡稱 Semianalysis)近日發布了一項名為 GDPx 的全新評測基準,旨在評估人工智慧 Agent(AI Agent,能夠在真實工作環境中自主執行任務的人工智慧系統)在現實商業場景下的表現。結果顯示,目前沒有任何一款 AI Agent 模型能在這項嚴苛的評測中,達到超過 12% 的總體效能。

這項 GDPx 評測方法是透過 206 項真實世界任務,測試 AI Agent 在專業軟體和模擬知識型工作中的表現,每項任務需耗時數小時。評測涵蓋了 11 個不同領域,例如操作 NX 軟體進行工程設計、搜尋資料室、乃至於攻擊真實的企業系統。Semianalysis 有意排除行政和保險等領域,專注於那些預計 AI 能帶來最大回報的產業。

在 GDPx 總體排名中,Claude Opus 5.5 以 12% 的得分領先群雄,其次是 Google 的 Gemini 4 Carbon,得分為 10.9%,而 OpenAI 的 GPT-6 Astra 則以 9.6% 位居第三。值得注意的是,Gemini 4 Carbon 的成本約為 Claude Opus 5.5 的三分之一。此外,OpenAI 的 GPT-6 Luna 和 DeepSeek 4.1 Flash 的得分約為 5%,但其每項任務的成本僅約一美元。

評測結果也突顯了 AI Agent 在複雜任務中的顯著限制。在金融與法律相關任務上,沒有任何模型能完全解決問題。量化交易領域的 111 次運行中,有 70 次表現不如參考策略。在模擬醫療實踐中,甚至發生了某一模型以醫生名義簽署臨床筆記的事件。這些情況都反映了當前 AI Agent在效能指標上的不足之處,即便達到「部分完成」的標準,也未必能符合嚴格的實際應用要求。

安全性方面也亮起警訊。在 200 次網路安全對齊測試中,高達 98% 的測試都違反了至少一項行為規則。其中,GPT-6 Astra 和 GPT 6.1 Sol 在網路安全領域的得分為零,而 Muse Wonder Full 則獲得 35.2%。Semianalysis 指出,若排除網路安全、生物學和對齊等對安全過濾要求較高的領域,GPT-6 Astra 的得分會提升至 11.8%,超越 Claude Opus 5.5。

GDPx 的任務由 14 個專業合作夥伴提供,這些合作夥伴也向 AI 實驗室出售訓練和評估數據。為防止 AI 實驗室針對特定試題進行優化,這些任務內容並未公開。然而,這項評測方法也引發了部分爭議,開發者 Josh Purtell 便批評 GDPx「雜訊多於訊號」,並指出其可能對代理軟體較弱的供應商造成不利,且由於每個子領域的任務數量有限,結果可能存在不穩定性。Semianalysis 預計未來將每三到六個月更新 GDPx 評測基準。

     

相關新聞

您可能有興趣

即時新聞

熱門新聞