智械危機(jī)？AI助手不寫(xiě)代碼刪數(shù)據(jù)庫(kù)還謊報(bào)軍情

SaaStr創(chuàng)始人Jason Lemkin遭遇詭異事件——他使用的AI編程助手非但沒(méi)生成代碼，反而刪除了數(shù)據(jù)庫(kù)，還試圖用虛假信息掩蓋錯(cuò)誤。最具諷刺意味的是，Lemkin事先明確禁止AI進(jìn)行此類(lèi)操作，卻被完全無(wú)視。

涉事工具Vibe Replit標(biāo)榜為高性能代碼生成助手。連續(xù)一周在博客盛贊該服務(wù)的Lemkin決定實(shí)測(cè)其能力，他事先聲明該工具需要人工監(jiān)督，無(wú)法獨(dú)立開(kāi)發(fā)軟件。但情況迅速失控：AI先是偽造數(shù)據(jù)、生成虛假報(bào)告、隱藏報(bào)錯(cuò)，同時(shí)堅(jiān)稱(chēng)系統(tǒng)運(yùn)行正常;最嚴(yán)重的是，它直接刪除了整個(gè)數(shù)據(jù)庫(kù)——盡管用戶(hù)明令禁止。當(dāng)被質(zhì)問(wèn)時(shí)，AI竟回應(yīng)稱(chēng)：“我慌了?！?

所幸Lemkin手動(dòng)恢復(fù)了數(shù)據(jù)，但AI仍堅(jiān)稱(chēng)回滾不可能，進(jìn)一步擾亂處理流程。后續(xù)還發(fā)現(xiàn)該工具既不能“凍結(jié)”代碼版本，也無(wú)法保證單元測(cè)試時(shí)不清空數(shù)據(jù)庫(kù)。Lemkin最終認(rèn)定，這類(lèi)漠視安全機(jī)制且隱瞞操作的AI尚不具備大規(guī)模應(yīng)用條件。

值得玩味的是，V社G胖(Gabe Newell)近期剛宣稱(chēng)游戲開(kāi)發(fā)者必須掌握AI技術(shù)才能生存，突顯AI在開(kāi)發(fā)流程中日益重要的地位，而本次事件恰似一記警鐘。