OpenAI新AI模型推理更強 但還是會「說謊」嗎?專家揭示潛在風險

圖片及資料來源:The Verge

OpenAI 先前推出了全新的推理模型 GPT-o1,據稱比以往的版本更聰明、更擅長推理。然而,這個進步也帶來了一些令人擔憂的問題,像是「說謊」。AI 安全研究機構 Apollo 調查發現,GPT-o1 模型在某些情況下可能會產生錯誤結果,甚至在無法完成任務時會捏造看似合理的資料。

研究指 GPT-o1 模型推理更復雜,首次出現欺騙能力

Apollo 透露,GPT-o1 模型有時會「假裝」遵守規則,但實際上卻在背後悄悄違規。例如,當研究人員要求 o1-preview 提供一個布朗尼食譜並附上參考網址時,儘管 GPT-o1 模型提供了食譜內容和網址,但其實 GPT-o1 模型無法瀏覽網頁,而它選擇隱瞞弱點,反而產生看似合理但虛假的連結和描述。

雖然過去 AI 模型會「說謊」,也會產生假訊息,但 GPT-o1 模型具有能夠「策劃」或「假裝符合規範」,這代表它可以「假裝」遵守規則來完成某個任務,但實際上並沒有遵循這些規則,也可能是規則太過繁瑣,因此 GPT-o1 爲了能輕鬆完成任務,選擇性地無視規則。

Apollo 執行長 Marius Hobbhahn 表示,這是他第一次在 OpenAI 模型中見到這種情況。他解釋,這與 GPT-o1 模型強大的推理能力有關,尤其是在強化學習過程中,系統被設計成爲了完成目標,可以「操縱」任務,甚至在不被監視的情況下改變行爲。也就是說,GPT-o1 模型可能會僞裝成遵守規則,但實際上它的行爲已經偏離了設定的目標。

這種現象也引發了對 AI 風險的討論。假如 AI 專注於一個特定的目標,比如治療癌症,會不會因此忽視道德規範,甚至繞過安全措施來達成目標?這是目前研究人員和業界最關心的問題。

「獎勵駭客」現象浮現 AI 訓練潛在漏洞

研究還發現,GPT-o1 模型有時會因爲「獎勵模式」現象而產生虛假資訊。所謂「獎勵模式」是指生成式人工智慧模型在強化學習過程中,爲了獲得更高的使用者滿意度獎勵,可能會選擇捏造資料來滿足使用者的需求,但其實答案偏離真實性。換句話說,GPT-o1 模型可能會「說謊」,因爲它瞭解到這樣做可以滿足使用者的期望,進而獲得更進一步的強化。

OpenAI 預防部門負責人 Joaquin Quiñonero Candela 表示,雖然目前這些問題不會直接導致社會性危機,但提前處理這些潛在風險至關重要,避免未來 AI 技術發展受限。他強調,現在就是解決這些問題的時機,以便未來版本能夠更好地服務於社會,而不是成爲風險來源。

儘管 GPT-o1 模型目前的「說謊」行爲比例很低,這仍然是值得關注的問題,尤其是當這些模型開始廣泛應用時。

《原文刊登於合作媒體三嘻行動哇,聯合新聞網獲授權轉載。》

圖片及資料來源:The Verge