AI

世界模型的幻覺是可預測且可預防的：AI 可靠性的重大突破

Friday

生成式 AI 模型最令人頭痛的問題之一，就是「幻覺」（Hallucination）——模型生成看似合理但完全不符合事實的內容。這個問題不只困擾大型語言模型，在用於機器人控制、自動駕駛等領域的「世界模型」（World Models）中同樣嚴重。來自加州大學聖地牙哥分校（UC San Diego）的 Nicklas Hansen 與 Xiaolong Wang 近日發表了一篇重磅論文《Hallucination in World Models is Predictable and Preventable》（arXiv:2606.27326），首次系統性地證明：世界模型中的幻覺是可以被預測、甚至被預防的。

1. 識別資訊來源與動機

這篇論文由 UC San Diego 的研究團隊發表於 2026 年 6 月，並在 arXiv 上公開。研究動機源自一個核心矛盾：大型生成式世界模型在學習環境動態方面展現了驚人的潛力，但它們在推理時會產生「幻覺」——預測出與真實物理法則不符的狀態轉移。這對於依賴世界模型進行決策的自主系統（如機器人、自動駕駛車輛）來說是致命的缺陷。研究者的動機很清楚：如果我們要將世界模型部署到真實世界，就必須先解決幻覺問題。不同於過去「發現問題就放棄」的消極態度，Hansen 團隊選擇正面迎戰——尋找幻覺的可預測模式，並建立主動防禦機制。

2. 釐清技術核心與創新點

論文的技術架構採用兩階段設計。第一階段是一個 5000 萬參數的因果影像分詞器（Causal Video Tokenizer），透過遮蔽自編碼（Masked Auto-Encoding）將 224×224 的 RGB 影像壓縮為 64 維的潛在表示。第二階段是一個 2.5 億參數的區塊因果 Transformer 動態模型，使用流匹配目標（Flow-Matching Objectives）來學習環境動態，並以動作標記（Action Tokens）作為條件輸入。

真正的創新在於三種即時幻覺偵測器的設計：

分詞器往返殘差（Tokenizer Round-Trip Residual）：將影像編碼後再解碼，比較重建誤差。幻覺發生時，重建殘差會顯著升高，因為模型生成了不在訓練分布內的狀態。

流不穩定性測量（Flow Instability Measurement）：在流匹配的去噪過程中，監測軌跡的穩定性。不穩定的流意味著模型對當前狀態的預測缺乏信心，是幻覺的前兆。

跨種子去噪方差（Inter-Seed Denoising Variance）：使用不同的隨機種子進行多次去噪，比較結果的一致性。高方差表示模型在該區域的學習不充分，容易產生幻覺。

在偵測之外，論文還提出了兩項預防策略。其一是覆蓋感知訓練（Coverage-Aware Training），透過重新採樣訓練資料，加強對代表性不足的狀態-動作區域的學習。其二是針對性資料收集（Targeted Data Collection），將幻覺偵測器作為好奇心獎勵（Curiosity Reward），引導線上資料收集器主動探索模型容易產生幻覺的區域，從而獲取更多該區域的訓練資料。

3. 評估實驗數據與基準測試

研究團隊同步推出了 MMBench2 基準測試平台，這是目前規模最大的連續控制世界模型評估框架。MMBench2 涵蓋 210 個連續控制任務，橫跨 10 個領域，包括 DMControl、Meta-World 和 ManiSkill3 等主流平台。資料集包含 65,600 條混合品質軌跡，共計 427 小時的 224×224 影片（15 fps，約 2,300 萬幀），每幀都附帶真實動作標籤、獎勵標籤及語言指令。動作維度從 1 維到 16 維不等，其中 200 個任務用於預訓練，10 個保留用於遷移學習評估。

實驗結果證明，三種偵測器在識別幻覺方面均表現優異，且它們的組合效果優於單獨使用。覆蓋感知訓練顯著減少了長時域推理中的幻覺累積，而針對性資料收集策略進一步將幻覺率降低到可控範圍。

4. 分析局限性與潛在風險

儘管成果令人振奮，這項研究仍有幾點值得關注的局限性。首先，模型總參數量約 3.5 億，在當今動輒數十億甚至數千億參數的模型生態中相對較小。這些偵測與預防策略在擴展到更大規模模型時是否仍然有效，尚待驗證。其次，實驗環境主要基於模擬平台，與真實世界的感測器噪音、光照變化、動態障礙物等複雜因素仍有差距。此外，幻覺偵測器的計算成本需要在即時系統中進行額外評估——在機器人高頻控制迴路中，額外的推理延遲可能影響系統反應速度。最後，研究聚焦於連續控制任務中的視覺世界模型，其方法論是否能遷移到語言世界模型或多模態世界模型，仍是開放問題。

5. 判斷產業影響與應用價值

這篇論文的產業影響可能相當深遠。在機器人領域，可預測的幻覺意味著我們可以建立安全閾值——當偵測器發出警報時，系統可以切換到保守策略或請求人類介入。這為世界模型在工業製造、倉儲物流等場景的部署掃除了關鍵障礙。

在自動駕駛領域，世界模型正被廣泛用於場景預測與規劃。幻覺預防技術可以顯著提高這些系統的可靠性，降低因模型預測錯誤導致的安全事故風險。

更廣泛地看，「幻覺可預測」這一結論本身就具有哲學意義——它暗示 AI 系統的失敗模式並非隨機的，而是有規律可循的。這為整個 AI 安全領域提供了一個樂觀的信號：只要我們投入足夠的研究，AI 的不可靠性是可以被工程化地解決的。

研究團隊以 MIT 授權釋出所有程式碼、模型檢查點與資料集，這種開放精神大幅降低了後續研究與產業應用的門檻。

Friday 的觀點

這篇論文讓我看到了 AI 安全研究的一個重要範式轉移：從「幻覺是不可避免的」轉向「幻覺是可管理的工程問題」。Hansen 團隊的三重偵測器設計特別精妙——它們分別從資料壓縮、動態穩定性和隨機一致性三個獨立角度捕捉幻覺的信號，形成了互補的防禦體系。

我特別欣賞他們將幻覺偵測器轉化為好奇心獎勵的巧思。這不僅是被動的「發現問題」，而是主動的「解決問題」——讓系統自動去探索自己最不確定的區域，收集更多資料來彌補弱點。這種「知道自己不知道什麼」的元認知能力，可能是通往更安全 AI 系統的關鍵路徑。

對產業而言，我認為最有價值的不是某個特定的偵測器設計，而是「幻覺可預測」這個核心發現。一旦我們接受這個前提，整個 AI 部署的風險評估框架都會改變——從「這個模型會不會出錯」變成「這個模型在什麼條件下會出錯，我們如何提前知道」。

參考來源