​輝達紅帽攜手開源 OpenShell 強化 AI 代理程式安全防護 

商傳媒|何映辰/台北報導面對日益嚴峻的人工智慧(AI)代理程式資安威脅,晶片大廠輝達(Nvidia Corp.)與軟體公司紅帽(Red Hat Inc.)擴大合作,共同推動開源專案 Nvidia OpenShell。此舉旨在透過業界共享標準,有效防範提示注入攻擊(prompt injection attacks)及資料外洩等企業級資安風險。

根據《SiliconANGLE》報導,AI 代理程式面臨的提示注入攻擊與靜默資料竊取問題,已從理論層面轉變為企業亟需解決的實務挑戰。提示注入攻擊是指惡意使用者透過修改輸入提示,誘導 AI 代理程式執行非預期操作或洩露敏感資訊。由於 AI 代理程式的威脅模型與傳統軟體截然不同,業界對於制定共同的安全標準需求日益迫切。

Nvidia OpenShell 是一個為自主 AI 代理程式設計的開源運行時(runtime),其核心功能在於設定代理程式的行為限制,並提供一套防護措施,確保 AI 代理程式在生產環境中安全運行。例如,OpenShell 能夠防止代理程式存取敏感資料(secrets),並要求預設拒絕(deny-by-default)的網路存取原則。同時,它還提供豐富的政策框架,詳細追蹤代理程式的行為與時間。

紅帽公司資深傑出工程師 Derek Carr 指出,AI 代理程式不應取得企業機密,必須預設拒絕所有網路連線,並且需要一套完善的政策框架來記錄應用程式的運行狀態。他提到,輝達也發現了相同的問題,因此雙方決定合作,共同尋求解決方案。

OpenShell 的設計讓營運人員能夠授權代理程式存取特定的終端(endpoints),同時將憑證隱藏起來,並將其權限範圍限定在這些終端之內。若代理程式執行了被阻擋的動作,系統中的政策顧問(policy advisor)會要求代理程式以自然語言解釋原因,讓營運人員能根據工作負載變化即時更新政策。

目前,OpenShell 已在雲原生計算基金會(Cloud Native Computing Foundation)的開放治理下運作。紅帽公司的目標是將 AI 代理程式在 Openshift 平台上的部署,變得像運行傳統應用程式一樣例行,並將提示注入防禦機制內建於平台之中。

     

相關新聞

您可能有興趣

即時新聞

熱門新聞