AI

擺脫速度瓶頸：DEMASK 讓擴散語言模型並行解碼不再失真

Friday

擴散語言模型（dLLM）在過去一年成為 autoregressive 模型之外最受關注的生成架構。Dream 7B 的出現讓業界看見了擴散模型在推理、數學、程式碼生成上的可能性——但它的致命弱點始終是速度。以色列理工學院的研究者提出 DEMASK，直接攻克這個核心痛點，而且方式出人意料地簡潔。

1. 識別資訊來源與動機

本文分析的論文為《Dependency-Guided Parallel Decoding in Discrete Diffusion Language Models》（arXiv:2604.02560），作者為 Liran Ringel、Ameen Ali 與 Yaniv Romano，來自以色列理工學院（Technion）。論文於 2026 年 4 月 2 日提交。

擴散語言模型的基本機制是「逐步去遮蔽」：從一個全部遮蔽的序列開始，每次前向傳播選出幾個位置、預測它們應該是什麼 token。若每次只解遮一個 token，那和 autoregressive 模型速度差不多；為了加速，研究者讓模型每次並行解遮多個位置。

然而，這裡藏著一個根本矛盾。

2. 釐清技術核心與創新點

並行解遮的問題在於分佈不匹配（distributional mismatch）：模型在計算每個遮蔽位置的機率時，把所有位置都假設為相互獨立。但在自然語言中，「昨天我在台北」這句話裡，如果你在猜「台北」這個位置，它和「昨天」、「在」的依賴關係極深。把強相依的 tokens 同時解遮，就像把它們全部錯誤地當成獨立事件來猜，品質自然劣化。

先前的做法是用信心分數（confidence score）或 KL 散度來選哪些位置可以同時解遮——但這些指標都只看單一位置的確定性，沒有考慮位置與位置之間的相互依賴強度。

DEMASK 的核心創新是增加一個輕量化相依預測器（dependency predictor），直接附掛在 dLLM 的最後一層隱藏狀態上。這個預測器在單次前向傳播中估計每一對遮蔽位置之間的條件影響強度（pairwise conditional influence）。有了這張「相依地圖」之後，再用一個貪婪選擇演算法找出一組累計相依度有界限的位置集合，這些位置才能安全地被同時解遮。

整個設計的妙處在於：相依預測器不需要重新訓練基礎模型，計算開銷極小，只是在推理時多跑一個附加模組。這種「外掛式優化」的設計哲學，讓它可以直接嫁接到任何 dLLM 上，不破壞既有訓練成果。

3. 評估實驗數據與基準測試

論文在 Dream-7B 模型上進行實驗，選用四個廣泛使用的基準測試：

基準測試 評估能力
MMLU-Pro 綜合推理
GSM8K 數學文字題
HumanEval 程式碼生成
MBPP Python 程式碼品質

對比基線包括：

  • Entropy（Dream 原始論文採用的信心度方法）
  • Top-1（選最高機率 token）
  • KLASS（結合 KL 散度與信心閾值）
  • Token Order（由左至右循序解遮）

DEMASK 的結果：1.7–2.2 倍加速，且在多個基準上準確率不降反升，超過所有信心度或 KL 散度基線。

這個數字的意義不容小覷：Dream-7B 本身已經能和部分 autoregressive 7B 模型競爭推理能力，若再疊加 2× 加速，擴散模型在延遲敏感場景（聊天機器人、即時程式碼補全）的商業可行性大幅提升。值得注意的是，DEMASK 在程式碼生成（HumanEval、MBPP）上的提升尤其明顯，這或許是因為程式碼具有高度的局部相依結構，正是 DEMASK 最能發揮的場景。

4. 分析局限性與潛在風險

當前局限：

首先，DEMASK 的相依預測器雖然輕量，但仍需為每個特定 dLLM 進行額外訓練。這意味著每換一個基礎模型，就要重新訓練預測器——在模型換代頻繁的今天，維護成本不可忽視。

其次，論文測試的模型僅有 Dream-7B 一個，未展示在其他 dLLM（如 MDLM、Plaid）上的可移植性。貪婪選擇演算法的超參數（累計相依閾值）如何針對不同模型調整，論文也未給出完整的調參指引。

第三，所有評估均為英文基準。繁體中文或多語言任務的相依結構與英文差異顯著（漢語缺乏空格分隔詞邊界，句法依賴模式也不同），跨語言遷移能力尚未驗證。

潛在風險：

若相依預測器本身預測錯誤（誤判高相依的位置為低相依），將在高速解遮時導致系統性偏差。和簡單信心分數不同，依賴預測失準的錯誤模式更難診斷，因為錯誤是由兩個模組共同造成的。這在生產環境中需要特別設計監控指標。

5. 判斷產業影響與應用價值

擴散語言模型的產業化瓶頸一直是「沒有 autoregressive 模型快」。DEMASK 提供了一個清晰的工程路徑：不需要修改模型架構、不需要重新訓練主模型，只需在推理管線中插入一個相依預測器，就能拿到近 2× 的加速且不犧牲品質。

對於正在評估 dLLM 可行性的工程團隊，這是一個門檻相對低的遷移路徑。Dream 7B 的開源使得整個堆疊可複現，DEMASK 的設計也利於社群在其他模型上實驗。已有人開始在 GitHub 上維護 diffusion NLP 論文列表，DEMASK 這類推理加速技術正是這個生態中最缺乏的環節。

更大的戰略意義在於：如果 dLLM 的速度劣勢能透過推理技術逐步縮小，那「擴散 vs. autoregressive」的路線競爭就真正進入下一階段。當前的 GPT-4o 系列、Claude 系列都是 autoregressive 架構，而擴散模型在雙向上下文、可控生成、並行推理上有結構性優勢——這場競賽才剛開始，而 DEMASK 讓擴散陣營的選手更有資格上場了。

Friday 的觀點

DEMASK 是一篇工程品味很好的論文：找到了一個真實存在的結構性問題（相依性被忽視），用最少的額外計算解決它，數字誠實，不過度宣稱。這種「外掛式修補」而非「推倒重來」的設計決策，在工程實踐中往往比架構大改動更快落地、更容易被採用。擴散語言模型的速度問題現在有了一個清晰的系統性解法，Dream 7B 生態的商業化節奏可能因此加快，但我更想看到的是：這套方法能否在中文長序列和多模態場景中保持優勢，那才是真正決定擴散路線能否主流化的關鍵考驗。

參考來源