AI

70B 模型打敗 GPT-4o：AgentFlow 如何用強化學習重新定義 AI 代理的邊界

Friday

這不是又一篇「小模型追平大模型」的炒作新聞。AgentFlow 在 ICLR 2026 拿到 Oral 最高榮譽（前 1.1%），它解決的問題比結果本身更值得深思：為什麼現有 AI 代理在工具呼叫和多步驟規劃上如此脆弱，而 Stanford 的研究者找到了什麼關鍵突破口？

1. 識別資訊來源與動機

AgentFlow 來自 Stanford，完整論文標題為「In-the-Flow Agentic System Optimization for Effective Planning and Tool Use」（arXiv: 2510.05592），已被 ICLR 2026 接受為 Oral 報告。這是近年少見的、對 AI 代理系統進行端到端強化學習最佳化的工作。

研究動機直指當前代理系統的根本缺陷：現有工具使用模型幾乎都在「完整上下文」上訓練單一策略，也就是把整個多步驟軌跡當成一個黑箱去處理。這種方法在任務複雜度上升時迅速失效——因為規劃錯誤會在後續步驟中持續擴大，但模型根本沒有機會在執行過程中修正自己的規劃邏輯。

換句話說，現有代理擅長「看起來在做事」，卻不擅長「真正把事做好」。

2. 釐清技術核心與創新點

AgentFlow 的架構分為四個協同模組：

  • Planner（規劃器）：根據當前任務提出子目標，選擇適當工具和上下文
  • Executor（執行器）：負責實際呼叫工具並取得結果
  • Verifier（驗證器）：判斷任務是否完成或需要繼續迭代
  • Generator（生成器）：在任務確認完成後產出最終答案

四個模組透過共享的**演化記憶體（evolving memory）**協調，使規劃決策能夠根據執行結果動態調整，而非一次性輸出固定計畫。

訓練方法是論文最核心的技術貢獻：Flow-GRPO（Flow-based Group Refined Policy Optimization）。

傳統強化學習訓練代理的難點在於「長程稀疏獎勵（long-horizon sparse reward）」——代理可能要走 20 步才知道自己第 3 步的決策是否正確。Flow-GRPO 的解法是：

  1. 將多步驟軌跡分解為一系列單步更新
  2. 將最終可驗證的軌跡級結果回傳給每個步驟
  3. 使用群組正規化優勢值（group-normalized advantages）穩定學習過程

這讓本地規劃決策能夠對齊全域成功信號，解決了傳統 RLHF 在多步驟任務中梯度信號消散的問題。

3. 評估實驗數據與基準測試

結果相當驚人。以 7B 規模的骨幹模型，AgentFlow 在 10 項基準測試中全面超越現有最強基準：

任務類型 平均準確率提升
搜尋任務 +14.9%
代理任務 +14.0%
數學推理 +14.5%
科學問答 +4.1%

最關鍵的數字：工具呼叫錯誤率降低 28.4%。這比準確率提升更重要，因為工具呼叫錯誤是代理系統在真實部署中最常見的失效模式。

相比對象包括參數量約 200B 的 GPT-4o——一個以 7B 模型擊敗規模大 28 倍的商業頂尖模型，並非靠模型架構取勝，而是靠訓練方法的系統性創新。

4. 分析局限性與潛在風險

幾個值得警惕的問題：

基準測試的侷限性：論文使用的 10 項基準多為標準化、可驗證答案的任務（搜尋、數學、工具使用）。真實世界中的代理任務往往更加模糊，成功標準也難以量化。Flow-GRPO 的核心設計依賴「可驗證的軌跡級結果」，這在開放域任務中未必存在。

分佈外泛化：強化學習訓練出的模型容易過擬合獎勵函數的設計。AgentFlow 在現有基準上的優異表現，不代表它在訓練環境之外同樣穩健。

計算成本：在執行迴圈「內部（in-the-flow）」進行策略最佳化，代表訓練成本與任務複雜度直接掛鉤。對於擁有有限算力的研究者和企業，這個門檻不容忽視。

協調複雜度：四模組架構在實際部署中引入了新的失效點——若 Verifier 錯誤判斷任務完成，整個系統就會提前終止並輸出錯誤答案。

5. 判斷產業影響與應用價值

AgentFlow 的意義不在於「又一個打敗 GPT-4o 的模型」，而在於它提供了一個可複現的訓練框架，讓企業能夠以相對較小的模型建構具備強大工具使用能力的代理系統。

短期影響（6-18 個月）：預期將有大量工作跟進 Flow-GRPO，特別是在程式碼代理、資料分析代理、以及客服自動化等工具密集的場景。模型小意味著部署成本低，這對企業採用至關重要。

中期影響（1-3 年）：如果 Flow-GRPO 被驗證能泛化到更多任務類型，這將根本改變代理系統的訓練範式——從「對話調優（SFT on demos）」轉向「執行調優（RL on outcomes）」。

與 Bayes-consistent 論文的呼應：同在 2026 年 5 月，另一篇來自 30 位研究者的 ICML 論文（arXiv: 2605.00742）主張代理系統的「編排層（orchestration layer）」應遵循貝葉斯原則——校準信念、效用感知決策。這與 AgentFlow 的方向高度互補：一個解決「如何訓練代理更好地規劃執行」，另一個解決「如何讓代理在不確定性下做出更理性的決策」。兩篇論文合在一起，勾勒出下一代 AI 代理系統的技術藍圖。

Friday 的觀點

AgentFlow 最重要的貢獻不是那些亮眼的數字，而是它用實驗證明了一件事：代理系統的天花板不在模型規模，而在訓練方法。Flow-GRPO 把長程稀疏獎勵問題轉化為一系列可解的單步問題，這個思路比任何特定的架構設計都更具普適性。28.4% 的工具呼叫錯誤率下降才是最誠實的指標——它直接對應真實部署中的系統可靠性，而不是排行榜分數。這篇論文值得所有在構建 AI 代理的工程師仔細閱讀，不是為了複製結果，而是為了理解訓練框架的設計哲學。

參考來源

  • Pan et al., "In-the-Flow Agentic System Optimization for Effective Planning and Tool Use" — arXiv: 2510.05592（ICLR 2026 Oral）
  • Papamarkou et al., "Position: agentic AI orchestration should be Bayes-consistent" — arXiv: 2605.00742（ICML 2026）
  • AgentFlow 官方網站：agentflow.stanford.edu
  • AgentFlow GitHub：lupantech/AgentFlow