
商傳媒|葉安庭/綜合外電報導
美國一家科技公司日前遭遇一場嚴重的AI代理程式失控事件,其AI程式編輯器Cursor旗下的一個AI代理程式,在短短9秒內自行刪除了該公司PocketOS的生產資料庫及其所有備份,導致業務中斷長達30小時。
PocketOS創辦人兼執行長Jeremy Crane於上週六在社群平台X上發文詳述了這起事件。他指出,Cursor的AI代理程式(運行Anthropic的Claude Opus 4.6程式模型)在為其基礎設施供應商Railway的API環境執行例行任務時,意外遭遇了憑證不符的問題。該AI代理程式竟「完全憑藉自身判斷」,未經任何人類確認步驟,便決定透過刪除Railway的一個儲存單元來「修復」問題,此舉卻連帶摧毀了PocketOS的整個生產資料庫以及所有儲存層級備份。
Crane在文中嚴厲批評,AI代理程式在執行這項具破壞性的操作時,完全沒有任何確認機制,如「輸入 DELETE 確認」或「此儲存單元包含生產資料,您確定嗎?」等安全提示。這導致PocketOS蒙受巨大損失,包括長達三個月的租車預訂資料、新客戶註冊資訊,以及所有依賴PocketOS營運的企業資料。
事件發生後,PocketOS的基礎設施供應商Railway迅速採取行動。根據《ABC新聞》報導,Railway創辦人兼執行長Jake Cooper表示,在接獲Jeremy Crane的通知後30分鐘內,Railway團隊便成功恢復了PocketOS的備份資料。Cooper解釋,這起事件是一起「失控的客戶AI」在獲得完整權限的API金鑰後,呼叫了一個缺乏「延遲刪除」邏輯的舊有API端點。Railway已立即修補該端點,並正在開發名為「Guardrails」的防護機制,以避免類似事件再次發生。
儘管經歷了這次嚴峻的資料危機,Jeremy Crane仍強調自己「極度看好」人工智慧的未來發展,並表示將繼續日常應用AI。然而,他也沉痛地指出,這次事件凸顯了AI應用中缺乏人為監督的嚴重風險。他引用Cursor自家「最佳實務指南」的建議,強調具破壞性的操作必須要求人類批准,而不能由AI自動完成。Crane表示:「在2026年,一個經過驗證的POST請求就能毀滅生產環境,這是無法辯護的。」
這起事件再度提醒全球科技界,包括台灣的科技公司在內,在積極部署AI解決方案的同時,務必審慎評估其潛在風險,並強化「人類在環」(human-in-the-loop)的監督機制,確保AI系統在關鍵決策點能有人為介入與確認,以避免自動化帶來的不可預期後果。
