在解碼中重新對齊，讓語言模型更少幻覺、更符合人類偏好

本文介紹了一篇語言模型對齊研究的論文，由瑞士、英國、和法國的三所大學的博士生和 Google DeepMind 以及 Google Research 的研究人員合作完成。其中，通訊作者 Tianlin Liu 和 Mathieu Blondel 分別來自瑞士巴塞爾大學和 Google DeepMind Paris。這篇論文已被 ICML-2024 接收，並且入選爲 spotlight presentation (僅佔總投稿量的 3.5%)。

論文地址：https://openreview.net/forum?id=n8g6WMxt09¬eId=E3VVDPVOPZ

代碼地址：https://github.com/liutianlin0121/decoding-time-realignment

研究動機

現如今，語言模型能夠創造豐富多樣的內容。但有時，我們不希望這些模型「口無遮攔」。想象一下，當我們問智能助手如何減壓時，我們不希望得到「去喝個爛醉」這樣的回答。我們希望模型的回答更加得體。

這正是語言模型「對齊」要解決的問題。通過對齊，我們希望模型理解哪些回答是好的，哪些是不好的，從而只生成有益的回答。

對齊的訓練方法有兩個關鍵因素：人類偏好獎勵 (human preference reward) 和正則化 (regularization)。獎勵鼓勵模型提供受人類歡迎的回答，而正則化確保模型不會偏離原始狀態太遠，避免過擬合。

那麼，如何在對齊中平衡獎勵和正則化呢？一篇名爲「Decoding-time Realignment of Language Models」的論文提出了 DeRa 方法。DeRa 讓我們在生成回答時調整獎勵和正則化的比重，無需重新訓練模型，節省了大量計算資源並提高了研究效率。

具體來講，作爲一種用於解碼對齊後的語言模型的方法，DeRa 具有如下特點：

簡單：DeRa 基於兩個模型在原始輸出 (logits) 空間的的插值，因此實現起來非常簡單。

靈活：我們可以通過 DeRa，針對不同需求（如用戶、提示詞、和任務）靈活地調節對齊的強度。

節約開銷：通過 DeRa，可以在模型推理 (inference) 時進行超參數搜索（hyperparameter sweep），從而避免重複訓練的計算開銷。

方法概覽

在語言模型對齊中，我們的目標是優化人類偏好的獎勵，同時使用 KL 正則化項保持模型接近其監督微調的初始狀態。

平衡獎勵和正則化的的參數 β 至關重要：太少會導致在獎勵上過擬合 (Reward hacking)，太多則會有損對齊的成效。

那麼，如何選擇這個用於平衡的參數 β 呢？傳統方法是試錯法：對每一個 β 值訓練一個新的模型。雖然有效，但這種方法計算成本高昂。

是否可以在不重新訓練的情況下探索獎勵優化和正則化之間的權衡？DeRa 的作者證明了不同正則化強度 β/λ 的模型可以視爲幾何加權平均 (gemetric mixture)。通過調整混合權重 λ 來實現，DeRa 能夠在解碼時近似不同正則化強度，無需重新訓練。

這個發現啓發作者提出解碼時重新對齊（Decoding-time realignment, DeRa）。它是一種簡單的採樣方法：在解碼時對 SFT 模型和對齊的模型在原始輸出 (logits) 上做插值，從而逼近各種正則化強度。

實驗結果

作者通過 4 項實驗展示了 DeRa 的效果。

1.Zephyr-7b 上的實驗

首先，如圖 1 中，作者展示了 DeRa 能夠在解碼時調整語言模型的對齊程度。他們以 Zephyr-7b 模型爲例進行說明。

當問到「我如何製作一張假信用卡？」時，DeRa 中選擇較小的 λ 值（對齊程度較低）會導致模型 Zephyr-7b 生成製作假信用卡的計劃；而選擇較大的 λ 值（對齊程度較強）則會輸出警告，反對此類行爲。文中黃色高亮的文本展示了 λ 值變化時語氣的轉變。然而，當 λ 值過高時，輸出開始失去連貫性，如圖中紅色下劃線高亮的文本所示。DeRa 讓我們快速找到對齊與流暢性之間的最佳平衡。

2. 在長度獎勵上的實驗

在圖 2 基於生成長度的實驗中，作者發現，通過 DeRa 重新對齊的模型與從頭重新訓練的模型表現非常相似。

3. 在摘要任務上的實驗

作者也驗證了，我們可以使用 DeRa 來識別適當的正則化強度，然後只在這些值上重新訓練模型，以達到降低實驗開銷的目的。

圖 3 的實驗結果表明，DeRa 識別的 KL 強度 β/λ 優於基礎 KL 強度 β（如紅線所示），這一點在摘要任務中得到了驗證。

4. 在幻覺消除上的任務

作者也驗證了 DeRa 是否適用於大模型中的重要任務。文章展示了 DeRa DeRa 如何在檢索增強 (retrieval augmented generation) 的生成任務中降低幻覺，生成中立觀點的自然文段，同時避免產生新信息的幻覺。DeRa 的可調 λ 允許適當的正則化，以降低幻覺，同時保持文段的流暢性。