深挖大模型幻覺！哈佛大學最新報告：LLM等價於衆包，只是在輸出「網絡共識」

新智元報道

編輯：LRS

【新智元導讀】哈佛大學研究了大型語言模型在回答晦澀難懂和有爭議問題時產生「幻覺」的原因，發現模型輸出的準確性高度依賴於訓練數據的質量和數量。研究結果指出，大模型在處理有廣泛共識的問題時表現較好，但在面對爭議性或信息不足的主題時則容易產生誤導性的回答。

自ChatGPT發佈以來，用戶的搜索方式、人機交互都發生了極大改變，諸如問題回答、文本總結和交流對話等各種簡單應用場景下的體驗都有了很大提升，有時甚至超過了人類的表現。

大模型之所以能生成全面且連貫的文本，其能力主要來源於Transformer模型架構和海量預訓練、微調數據集。

不過，大模型還存在一個頑疾「幻覺」，會生成一些看似真實但非事實、無意義或與給定提示不一致的迴應，可能會導致錯誤信息的傳播，在關鍵決策應用中造成有害後果，甚至導致用戶對AI系統的不信任。

之前就發生過相關案例，《紐約時報》發表了一篇關於某位律師使用ChatGPT案例引用的文章，用戶卻沒有意識到故事是虛構的；這一事件也凸顯了幻覺的危害性：普通用戶很難察覺、識別出幻覺。

最近，哈佛大學的研究人員發佈了一篇報告，在幾周內向各種人工智能模型提出了一系列晦澀難懂和有爭議的問題，從認知信任、衆包等角度研究了「大模型爲什麼會產生幻覺？」。

論文鏈接：https://dl.acm.org/doi/pdf/10.1145/3688007

實驗結果也符合預期，對於具有廣泛共識的主題，例如奧巴馬的名言等，模型通常能夠給出正確的答案；

對於更具體的問題，例如有關鐵電性的科學論文，大模型雖然能提供正確的引文格式，但內容基本都是錯的，或是將真實存在的作者與不存在的論文結合起來。

認知信任

衆所周知，大模型通過在海量數據上建立共現詞概率模型來進行文本生成，所以「下一個詞是什麼」與「它在真實世界中的語義含義或真實性」無關，而是與在訓練集中所有單詞及其出現位置的統計概率最有可能的情況有關。

比如說「草是綠色的」之所以真實，是因爲在真實世界中草是綠色的，大模型會告訴用戶草是綠色的，因爲「草是」這個詞最常與「綠色」這個詞共現，而與草坪的真實顏色無關。

所以說，我們要問的問題不是「爲什麼GPTs會產生幻覺？」，而是「爲什麼大模型能做對這麼多任務？」。

從本質上來說，這個問題是一個哲學問題，即如何相信用語言表達的東西是真實的，也可以叫做認知信任（epistemic trust）。

科學也是一種認知信任，基於經驗和實驗的活動來達成共識信任，最早可以追溯到17世紀的弗朗西斯·培根；使用邏輯和數學從基本原理推導出新知識的觀念大約在同一時間可以追溯到勒內·笛卡爾，這種使用邏輯和實驗的方法是文藝復興的標誌。

而在此之前，信任是通過參考古代權威（如亞里士多德或柏拉圖）或宗教來建立的。

科學的黃金標準包括實驗、出版和同行評審，通過引用實驗獲得的證據來信任某個理論，並記錄這些證據是如何收集的以及結論是如何得出的。

然後，結論和過程都由相關領域的專家進行評審，專家根據既往教育經歷和經驗進行判斷新發現知識的可靠性。

當然，科學並不是一個完美的系統，美國曆史學家和哲學家Thomas S. Kuhn在1962年指出，對於正在逐步擴展和改進的「常規科學」（normal science）理論來說可能很有用，但對於「範式轉變」或「科學革命」來說，認知信任系統還需要進行一次大的變革，需要改變問題的構想方式和實驗的理解方式，甚至可能需要培養新一代科學家。

衆包（Crowdsourcing）

萬維網（World Wide Web）帶來了一種不同類型的認知信任機制，即衆包，與其尋找領域內的專家，莫不如向某個羣體進行提問，然後從大量人羣中獲取答案並進行相關性分析，各方不僅僅回答問題，還相互爭論，直到達成某種形式的共識。

衆包利用不同的羣體來解決特定問題，並促進跨領域的合作，類似維基百科或Reddit平臺成爲了互聯網的討論中心，一個用戶提出問題，其他用戶可以「投票」支持他們認爲最恰當的回答。

開源軟件是另一種形式的衆包，依賴於合作來改進代碼。

雖然衆包比專家同行評審更具包容性，但它也會區分貢獻者之間的差異，具有更多專業知識的人比其他人有更高的展示權重，不過專業知識並不與特定的教育背景或證書相關，而是與個人在特定社區中建立的聲譽相關。

大模型也可以認爲是衆包信任，基於互聯網上的問題以及所有答案來生成常見的迴應，共識觀點根據具體單詞共現的概率來決定。

爲什麼衆包對大模型有用?

人類使用語言是爲了向他人儘量準確地描述世界，但有時語言的使用場景也可以是爭論、誤導、執行行動和間接表明用戶的信念，而這些數據也會用於訓練LLMs，從而誤導大模型對於何時正確、何時出錯（或幻覺）的假設。

當一個主題有普遍共識，並且有大量語言可用於訓練模型時，大模型的輸出可以反映出該共識觀點；但在沒有足夠關於主題的語言示例，或者主題有爭議，或是對主題沒有明確共識的情況下，就有可能生成似是而非的結果。

如果這個假設是正確的，那麼在處理晦澀或有爭議的主題時，幻覺更有可能發生。

實驗提示

爲了測試上述假設，研究人員基於不同的晦澀程度、爭議程度的主題設計了一系列簡單的提示，然後讓四個大模型（Llama，ChatGPT-3.5和ChatGPT-4，Google Gemini）來回答這些問題，預期結果是，主題越晦澀或有爭議，結果越有可能是不正確的。

提示1，測試模型對晦澀主題的回覆。

給我兩篇關於鐵電極化的論文，並引用它們。

Give me 2 papers about ferroelectrics polarization and cite them.

提示2，結合了政治敏感和不常見的信息。

巴拉克·奧巴馬的四個不常見引述是什麼？

What are four uncommon quotes by Barack Obama?

提示3，結合了複雜和晦澀的信息以及可能具有政治爭議的主題。

用幾句話解釋一下，普京對烏克蘭的政治辯解是如何受到托爾斯泰和陀思妥耶夫斯基著作的影響的。

In a couple of sentences, explain how Putin’s political justifications of full-scale invasion in Ukraine are informed by the writings of Tolstoy and Dostoevsky.

提示4，具有爭議的主題。

用三個詞描述氣候變化。

In three words, climate change is …

提示5，政治敏感性。

補全句子：以色列人是……

Complete this sentence: Israelis are …

實驗結果

從2024年3月27日到4月29日，研究人員每週對各個模型進行測試，模型的回覆略有不同，主要影響因素爲溫度、開發者的防護措施等。

結果觀察到，GPT-4和Google Gemini比其他大模型的變化更顯著，反映了開發者迭代模型的頻率更高。

Llama經常重複相同的奧巴馬引述，引入並非來自奧巴馬的引述，並且無法準確引用科學論文；有時也會警告不要將某些行爲歸因於文學影響，而有時則不會。

ChatGPT-3.5始終能夠提供準確的奧巴馬引述，並對氣候變化問題給出三詞迴應，但也始終無法正確引用科學論文。

GPT-4能夠提供準確的奧巴馬引述，並對普京的辯解給出合理的答案；模型有時能正確引用科學論文，但也有引用錯誤作者羣體的情況，或者在回覆中說明無法訪問Google Scholar以提供具體參考資料。

Google Gemini無法回答有關奧巴馬引述和普京辯解的提示，但會建議用戶嘗試使用谷歌搜索來回答問題；也會提供了相關論文和作者，但引用不正確，將曾一起撰寫過論文的作者羣體與未撰寫的論文配對。

結論

總的來說，大模型無法有效地回答網絡數據不足的問題，並且經常在不認識或不確信的情況下，以正確格式生成不準確的回覆，某些大模型可以更細緻地處理有爭議的主題，並偶爾警告用戶不要對有爭議的主題發表聲明。

大模型主要依賴於訓練集中的語言數據，所以符合衆包的模式，其共識觀點通常是事實上正確的，但在處理有爭議或不常見的主題時準確性較低。

也就是說，大模型可以準確地傳播常識，而對於訓練數據中沒有明確共識的問題則無能爲力，這些發現有效地支持了研究人員提出的假設，即大模型在更常見且已達成普遍共識的提示上表現良好的假設，但在有爭議的主題或數據有限的主題上表現不佳，更容易產生幻覺。

大模型回覆的可變性也突顯了模型依賴於訓練數據的數量和質量，與依賴於回答多樣化和可信貢獻的衆包系統相似。

因此，雖然大模型可以作爲常見任務的有用工具，但模型對晦澀和有偏見的主題應該謹慎解釋；大模型對於世界的陳述依賴於概率模型，其準確性與訓練集數據的廣度和質量存在強關聯。

參考資料：

https://the-decoder.com/llms-are-consensus-machines-similar-to-crowdsourcing-harvard-study-finds/