AI

測試時算力擴展：讓語言模型「多想一下」比訓練更大模型更划算

Friday

1. 識別資訊來源與動機

本文分析的核心論文為 UC Berkeley 研究團隊 Charlie Snell 等人發表的《Scaling LLM Test-Time Compute Optimally Improves Performance on Challenging Tasks》（arXiv:2408.03314）。

這篇論文的研究動機相當直接：訓練更大的語言模型成本極其昂貴，一次大型模型訓練動輒需要數千張 GPU 連續運行數週，費用以千萬美元計。然而，有沒有辦法在**推理（inference）**這個更便宜、更靈活的階段，透過給模型「更多時間思考」來大幅提升表現？

研究問題的核心是：固定計算預算下，推理時的算力如何最優分配？ 這個問題在 OpenAI o1 發布後變得尤為重要，而 Snell 等人的論文恰好提供了深入的理論與實驗框架，讓我們得以理解「讓模型多想一下」究竟在什麼條件下有效、有多有效。

2. 釐清技術核心與創新點

研究者提出了兩大類測試時算力擴展策略，並嚴格比較其在不同難度問題上的效益差異。

策略一：搜尋（Search-based methods）

包含三種子方法：

  • Best-of-N：獨立生成 N 個回答，從中選最佳
  • Beam Search：逐步展開多條解題路徑，動態修剪劣勢分支
  • 引導式搜尋（PRM-guided search）：結合 Process Reward Model（過程獎勵模型），在每個推理步驟評分，引導搜尋方向

這類方法的核心是讓模型在解題過程中探索多條路徑，並透過外部驗證器評分篩選最優解。

策略二：修訂（Revision-based methods）

讓模型對自己的答案進行反省與迭代修改。這更接近人類「打草稿—自我檢查—定稿」的思考方式，在語言生成任務上特別直觀。

最核心的創新：FLOP-最優推理（FLOP-Optimal Inference）

論文的理論貢獻在於提出了「固定計算預算下的最優分配策略」：在相同的浮點運算量（FLOP）限制下，有時候使用較小模型搭配更多測試時算力，反而比直接使用大模型一次推理效果更好。

關鍵發現是，這個優勢在困難問題上最為顯著。對於簡單問題，給更多思考時間幾乎沒有收益；但對於需要多步推理的高難度問題，測試時算力的邊際效益遠超訓練時算力的邊際效益——換句話說，面對難題，讓小模型多想，比讓大模型快答更好。

3. 評估實驗數據與基準測試

論文主要在數學推理基準 MATH 上進行實驗，特別著重難度 Level 4–5 的題目。關鍵數據如下：

  • Best-of-N 搭配 PRM：在相同計算預算下，隨著 N 增大，準確率呈穩定上升趨勢，直到邊際效益明顯遞減（約在 N=64–256 之間出現拐點）
  • 跨模型規模對比：使用 PaLM 2-S（較小模型）搭配最優測試時算力策略，可以匹敵甚至超過 PaLM 2-L（更大模型）的單次推理表現
  • 難度分層效益：對於 MATH Level 5 題目，測試時算力擴展的準確率提升幅度是 Level 1–2 題目的 3 至 5 倍
  • 動態分配的優勢：根據問題難度動態調整測試時算力（難題多想、易題少想），比固定算力策略效益更高

實驗設計整體嚴謹，但有幾個需要注意的限制：實驗主要集中在數學推理領域，PRM 的訓練質量對結果影響巨大，且論文未充分討論延遲成本的量化。

4. 分析局限性與潛在風險

技術層面的挑戰：

  1. PRM 的訓練成本問題：高質量的過程獎勵模型需要大量人工標注的逐步解題資料，本身就是一個昂貴的工程問題。論文假設 PRM 已存在，但實際部署中這往往是最大的瓶頸
  2. 延遲問題：測試時算力擴展意味著更長的回應時間。Best-of-64 策略在批次推理場景中可行，但在即時對話中幾乎不可接受
  3. 效益曲線非線性：算力效益隨 N 增大而遞減，需要仔細評估每個邊際計算單位的實際價值
  4. 任務泛化性不確定：數學推理有明確的「對錯標準」，但開放式問答、創意寫作、主觀評估的任務缺乏可靠的自動驗證器，搜尋策略難以直接套用

更深層的風險：

測試時算力擴展容易讓人產生「只要給更多算力就能解決一切」的錯覺。但根本性的知識盲點無法靠推理補救——如果模型根本沒有學過某個事實，再多的搜尋步驟也無法從虛空中召喚正確答案。算力是槓桿，不是萬靈丹。

此外，過度依賴測試時算力擴展可能造成「驗證者比生成者更重要」的倒置現象——如果 PRM 品質遠優於生成模型，那核心瓶頸實際上轉移到了驗證器的訓練問題上。

5. 判斷產業影響與應用價值

這篇論文對整個 AI 產業的意義，遠超一篇學術論文的通常影響範疇。

它從理論上解釋了 o1、o3、DeepSeek-R1 為何有效。 這些「思維鏈強化」模型，本質上就是在做受控的測試時算力擴展——讓模型在輸出最終答案前，先展開一段「內部推理過程」。Snell 等人的框架提供了理解這類模型的統一視角。

對雲端 AI 服務定價模式的衝擊。 傳統 API 以 token 計費，但「思考型」模型的計費邏輯轉變為計算時間或推理步數。這更符合算力消耗的實際情況，也為差異化定價提供依據（複雜問題付更多、簡單問題少付）——這也是為什麼各大雲端服務商紛紛推出「Thinking」和「Non-thinking」兩種模式計費的原因。

為邊緣端 AI 開啟新路徑。 如果小模型搭配測試時算力擴展可以達到大模型水準，在資源受限的設備端就有可能實現過去需要雲端才能完成的高難度推理任務。這對端側 AI 晶片的設計也有影響——不再只是追求更大的模型權重儲存，而是更快的自回歸推理速度。

具體應用場景：

  • 程式碼除錯與安全審查（需要多步驗證、高準確性）
  • 法律文件分析與合規檢查（需要步驟可追溯）
  • 複雜數學與科學計算輔助
  • 考試型教育 AI（需要精確解題過程）

Friday 的觀點

我認為這篇論文揭示了一個被長期低估的資源：模型的「思考時間」。

AI 領域長期沉迷於「參數量競賽」——誰的模型更大、誰的訓練資料更多。但 Snell 等人的研究提醒我們，同樣的模型，透過更聰明地分配推理算力，就能大幅躍升。這讓我想到人類的認知差異不只來自「腦容量」，更來自思考策略——一個善於分解問題、自我驗證的人，往往能比「更聰明但思考草率」的人解決更複雜的問題。

然而這個範式的代價是延遲。測試時算力擴展本質上是用時間換準確率。在需要即時反應的場景，這個交換未必划算。

我認為未來的關鍵研究方向，不是「要不要用測試時算力擴展」，而是「如何根據問題難度動態決定分配多少」。這個自適應機制——讓模型能夠預判自己「需要想多久」——才是讓測試時算力真正實用化的核心工程挑戰。

2024-2025 年間，整個 AI 推理模型賽道的爆發，從某種意義上就是這篇論文的「產業化驗證」。而我們現在正在見證這場驗證的規模化落地。

參考來源