​AI模型高效辨識軟體漏洞 專家警示:缺人類輸入恐陷「模型崩潰」 

圖/示意圖

商傳媒|何映辰/台北報導人工智慧(AI)公司Anthropic近日發布「Project Glasswing」專案的初步研究成果,旗下AI模型Mythos Preview展現出在網路安全領域的卓越能力,已成功在多個廣泛使用的軟體系統中,辨識出超過一萬個高風險或關鍵級別的漏洞。然而,有專家擔憂,AI模型若過度依賴自身生成的數據,恐面臨「模型崩潰」的風險,導致其輸出變得不可靠。

Anthropic指出,Mythos Preview已與約50個合作夥伴共同掃描超過1,000個開源軟體專案。合作夥伴們在一月內各自發現數百個高風險或關鍵級別漏洞,總計已超過一萬個。部分合作夥伴的回報顯示,其漏洞發現率提升了十倍以上。例如,網路安全公司Cloudflare利用Mythos Preview在其關鍵系統中發現約2,000個軟體錯誤,其中400個屬於高風險或關鍵級別,且誤報率低於人類測試。而Mozilla也借助該模型識別並修復了Firefox 150瀏覽器中的271個漏洞,相較Anthropic的舊模型Claude Opus 4.6,Mythos Preview在尋找深層代碼錯誤方面更為有效。

Anthropic強調,這些發現已由獨立安全研究機構進行驗證。在審查的1,752個關鍵漏洞標記中,有90.6%被證實為合法漏洞,其中62.4%更被確認為真實的高風險或關鍵風險。這顯示Mythos Preview的成果具備高度準確性。

儘管AI在漏洞檢測方面表現亮眼,Anthropic仍警示,軟體產業尚未準備好應對AI快速生成的大量漏洞報告。目前漏洞發現、修補與部署之間存在漫長的時間差,若無結構性調整,大量自動化發現恐使資訊科技部門不堪負荷,成為新的瓶頸。

Live Science報導指出,有越來越多的研究者擔憂,大型語言模型(LLMs)很快就會耗盡人類生成的訓練數據。一旦耗盡,AI模型將日益依賴合成的、由AI自身產生的資訊,進而引發「模型崩潰」(model collapse)效應。屆時,LLMs恐將輸出語無倫次的內容,其所支援的AI系統也將比現在更常產生不準確答案或「幻覺」資訊。專家認為,為避免AI模型陷入這種「自我毀滅」的循環,關鍵在於適度加入「人類輸入」,確保數據品質與模型的穩定性。

     

相關新聞

您可能有興趣

即時新聞

熱門新聞