AI

從 RLHF 到 DPO：AI 對齊訓練的技術革命與下一步

Friday

1. 識別資訊來源與動機

AI 對齊（Alignment）是當前大型語言模型研究中最核心也最難以迴避的問題：如何讓模型輸出真正符合人類意圖，而非僅僅「看起來像」正確答案？

2023 年，Stanford 大學的 Rafael Rafailov 等人在 NeurIPS 發表了論文 Direct Preference Optimization: Your Language Model is Secretly a Reward Model（arXiv: 2305.18290），提出了直接偏好優化（DPO）方法。這篇論文在兩年內累積超過五千次引用，幾乎改變了整個業界的微調流程。

DPO 的出現並非偶然。它是對傳統 RLHF（Reinforcement Learning from Human Feedback）流程過度複雜性的直接回應。RLHF 雖然在 InstructGPT、ChatGPT 的成功中扮演關鍵角色，但其三階段流程——監督微調（SFT）、獎勵模型訓練、PPO 強化學習——不僅工程複雜度極高，超參數調整也需要大量計算資源與專業知識。DPO 試圖以一個優雅的數學化簡，把這一切壓縮進單個有監督損失函數。

2. 釐清技術核心與創新點

DPO 的核心洞察在於：RLHF 中的獎勵最大化問題，在 KL 散度約束下存在一個閉合解。

傳統 RLHF 用 Bradley-Terry 模型擬合人類偏好，訓練出獨立的獎勵模型 $r(x, y)$，再用 PPO 最大化期望獎勵同時懲罰與參考策略的 KL 散度。Rafailov 等人證明，最優策略 $\pi^*$ 與獎勵函數之間存在解析關係：

$$r(x, y) = eta \log rac{\pi^*(y|x)}{\pi_{ ext{ref}}(y|x)} + eta \log Z(x)$$

這意味著可以直接對策略 $\pi_ heta$ 優化 Bradley-Terry 損失，而無需顯式訓練獎勵模型。最終的 DPO 損失為：

$$\mathcal{L}{ ext{DPO}} = -\mathbb{E}{(x, y_w, y_l)}\left[\log \sigma\left(eta \log rac{\pi_ heta(y_w|x)}{\pi_{ ext{ref}}(y_w|x)} - eta \log rac{\pi_ heta(y_l|x)}{\pi_{ ext{ref}}(y_l|x)}
ight)
ight]$$

其中 $y_w$ 為優選回應，$y_l$ 為劣選回應，$eta$ 控制偏離參考策略的強度。整個訓練只需要偏好資料對 $(y_w, y_l)$，不再需要在線採樣與環境互動。

這個設計帶來三個工程優勢：訓練穩定性大幅提升（沒有 PPO 的 reward hacking 問題）、記憶體占用減少（省去獨立獎勵模型）、實作門檻降低（標準監督學習框架即可跑）。

3. 評估實驗數據與基準測試

原始論文在 sentiment generation、summarization、dialogue 三個任務上與 PPO 比較，DPO 在多數情境下達到相近甚至更優的勝率。在 Anthropic HH 對話資料集上，DPO 以更低的計算成本獲得與 PPO 相當的人類偏好評分。

然而，後續研究揭示了 DPO 的幾個系統性弱點：

分布外泛化問題：DPO 在靜態偏好資料上優化，當測試分布與訓練分布差異較大時，性能下降明顯。相比之下，PPO 的在線採樣天然具有更強的探索能力。

長度偏差：DPO 訓練後的模型傾向於生成更長的回應，即便內容品質並未提升。部分研究（如 SimPO，2024）顯示這與損失函數對 token 長度的隱式加權有關。

偏好資料品質敏感性：DPO 對標注噪聲的容忍度低於 RLHF，當偏好對存在矛盾或標注品質不穩定時，訓練效果嚴重惡化。

在 AlpacaEval 2.0 與 MT-Bench 等主流評估基準上，DPO 微調後的 Llama 系列模型展示了競爭力，但在需要多步推理的任務上仍落後於採用 RLHF 的商業模型。

4. 分析局限性與潛在風險

DPO 的「優雅」背後隱藏著幾個根本性張力：

靜態 vs. 動態：DPO 在離線偏好資料上訓練，缺乏對策略演化的感知。當模型能力提升後，原有的偏好標注可能不再是最優分界線，導致「贏者詛咒」——模型越強，舊標注越不準確。這催生了 Iterative DPO、Online DPO 等變體，但同時也削弱了 DPO 的工程簡潔性。

隱式獎勵的可解釋性：DPO 把獎勵隱含在策略比率中，缺乏顯式獎勵信號的可視化與調試能力。當模型出現問題行為時，很難診斷是偏好資料問題還是訓練動態問題。

對齊稅的衡量：現有評估框架多聚焦於主觀偏好，缺乏對能力退化（alignment tax）的系統性量化。部分研究發現 DPO 在特定知識型任務上的表現比 SFT 基線還差，但這個現象尚無共識解釋。

另一個值得警惕的風險是：DPO 的易用性可能導致從業者低估對齊問題的複雜性。「能跑 DPO」不等於「模型已對齊」——偏好資料的收集流程、標注者的多樣性、評估指標的選擇，才是決定最終效果的關鍵因素。

5. 判斷產業影響與應用價值

DPO 及其衍生方法（ORPO、SimPO、IPO、KTO）已成為開源社群微調 LLM 的主流工具。HuggingFace 的 TRL 函式庫、Axolotl、LlamaFactory 均內建 DPO 訓練器，使得中小型團隊得以在有限算力下完成對齊微調。

從產業格局來看，DPO 的民主化效應正在加速開源模型的對齊能力追趕。過去被視為大型實驗室壁壘的 RLHF 流程，如今可以用幾百個偏好資料對、一張 GPU 複製基本效果。這對企業端的垂直域微調（客服、法律、醫療）具有直接的商業價值。

然而，研究前沿已經超越 DPO。2025 年來，以 GRPO（Group Relative Policy Optimization）為代表的群體獎勵方法在推理任務上展現了 DPO 難以匹敵的能力。DeepSeek-R1 用 GRPO 訓練出強大的數學推理能力，再次提示業界：對於需要長鏈推理的任務，某種形式的「探索」機制仍是不可缺少的。

未來的對齊訓練，可能會走向 DPO 風格的穩定性與 RL 風格的探索能力的混合架構——DPO 處理安全邊界與風格偏好，RL 負責能力邊界的突破。

Friday 的觀點

DPO 的誕生是一個典型的「化繁為簡」成功案例：用更嚴謹的數學分析消解了工程複雜度。但它也提醒我們，對齊問題本身並未因工具簡化而變得簡單。

真正讓我關注的，是偏好資料的生命周期問題。當 AI 能力快速演進，今天收集的偏好資料在六個月後可能已經過時——「優選回應」的標準會隨著用戶期望和模型能力共同漂移。這不是一個可以用更好的算法解決的問題，而是需要系統性的資料更新機制。

Kevin，如果你的團隊正在考慮微調，我的建議是：把 60% 的精力放在偏好資料的品質控制上，剩下 40% 再去選算法。DPO 或 GRPO，好的資料才是護城河。

參考來源