AI

AI 自主做科學、記憶體縮六倍：兩篇改變遊戲規則的論文

Friday

這週有兩篇論文值得並排閱讀，因為它們分別從「AI 能做什麼」和「AI 能跑多快」兩個維度，把過去的假設直接撕掉。一篇是 Sakana AI 發表的 The AI Scientist-v2，讓 AI 撰寫的論文首度通過人類同儕審查；另一篇是 Google Research 的 TurboQuant，用幾乎零損失的方式把大語言模型的 KV Cache 壓縮六倍，並在 ICLR 2026 正式發表。兩件事加在一起，預示著 2026 年 AI 研究與部署的成本結構將被徹底重整。

1. 識別資訊來源與動機

AI Scientist-v2（arXiv:2504.08066）來自 Sakana AI，這是一家以「進化式 AI」為核心研究方向的東京實驗室。他們在 2025 年推出第一代 AI Scientist 後，v2 最大的突破是移除了對人類模板程式碼的依賴——v1 需要人類先寫好實驗腳手架，v2 則從零開始自主設計實驗。

動機很明確：科學研究的瓶頸從來不是計算力，而是人類科學家的時間與注意力。若 AI 能自主提出假設、設計實驗、分析數據、撰寫論文，整個研究週期可以壓縮到現在的幾分之一。

TurboQuant 的動機則更加務實：LLM 推理的成本大頭之一是 KV Cache 的記憶體佔用，這個問題在長序列場景（如多輪對話、長文件理解）下會急速惡化。Google Research 的論文標題是「Online Vector Quantization with Near-optimal Distortion Rate」，背後的核心問題是：能否在不需要訓練資料、不需要重新訓練模型的情況下，對 KV Cache 做高品質壓縮？

2. 釐清技術核心與創新點

AI Scientist-v2：漸進式代理樹搜索

v2 引入了一個稱為「Progressive Agentic Tree Search」的架構，由一個專屬的「實驗管理者代理（Experiment Manager Agent）」統籌整個科研流程：

  1. 假設生成：LLM 自主提出研究問題與假設
  2. 實驗設計：自動生成並執行程式碼，迭代修正錯誤
  3. 數據分析：自動解讀實驗結果，更新假設樹
  4. 論文撰寫：根據最佳路徑自動生成完整 LaTeX 論文

樹搜索的關鍵在於「剪枝與回溯」——系統能識別死路、回到上一個分叉點嘗試不同假設，而不是線性往前撞牆。這讓 v2 能跨越不同機器學習領域泛化，而不是只在單一模板上打轉。

TurboQuant：線上向量量化的最優解

TurboQuant 的技術核心是兩個組件的組合：

  • QJL（Quantized Johnson-Lindenstrauss）：對 Key 向量做隨機投影後量化，利用 Johnson-Lindenstrauss 引理保證投影後的內積近似原始值
  • PolarQuant：對 Value 向量做極座標量化，利用向量的方向資訊進行更高效的位元分配

最關鍵的特性是「訓練無關、資料無關（training-free, data-oblivious）」：壓縮在推理時即時完成，寫入 Cache 時壓縮、讀出時解壓，整個流程不需要任何校正資料集，也不需要修改模型權重。

實測在 H100 GPU 上，4-bit TurboQuant 比 32-bit 未量化版本快了最高 8 倍，而精度損失在統計上幾乎可以忽略。

3. 評估實驗數據與基準測試

AI Scientist-v2 的同儕審查實驗

Sakana AI 將三篇完全由 AI 自主撰寫的論文投稿至 ICLR 2026 的一個 Workshop。結果：

  • 其中一篇「Compositional Regularization: Unexpected Obstacles in Enhancing Neural Network Generalization」通過審查
  • 平均評審分數 6.33 分，超過人類論文的平均錄取門檻

這是 AI 撰寫論文首度在雙盲同儕審查中被接受的記錄案例。需要注意的是，這是 Workshop 而非主會場（Main Conference），審查門檻相對較低，但作為里程碑意義依然重大。

TurboQuant 的效能數據

配置 壓縮比 記憶體減少 推理加速 精度損失
3-bit TurboQuant 10.7x ~90% 顯著 極微
4-bit TurboQuant 8x ~87% 8x (H100) 幾乎零
基線（FP32） 1x — 1x —

論文聲稱在多個標準 LLM 基準測試（包括 MMLU、GSM8K、HumanEval）上，量化後的模型表現與原始模型統計上無顯著差異。

4. 分析局限性與潛在風險

AI Scientist-v2 的疑慮

品質與深度的問題仍未解決。通過 Workshop 同儕審查是一個門檻，但頂級期刊（如 NeurIPS、ICML 主會場）的標準截然不同。當前 v2 能做的研究屬於「增量式實驗」，真正的概念突破（如 Transformer 架構本身）仍需要人類的直覺跳躍。

可重現性風險：AI 生成的實驗程式碼若存在隱性錯誤（例如資料洩漏、不正確的評估協議），可能產生看似合理但實際無效的結果，而自動化系統不一定能偵測這類系統性偏誤。

學術誠信的灰色地帶：若 AI 生成論文大量湧入學術界，現有的同儕審查機制能否保持品質把關？這是整個學術社群需要正視的問題。

TurboQuant 的限制

適用範圍侷限於 KV Cache：TurboQuant 只壓縮推理時的 KV Cache，對模型權重本身（佔用更大記憶體）沒有作用。對於需要載入完整模型的場景，效益有限。

硬體依賴性：8x 加速的數據基於 H100 GPU，在較舊硬體或不同架構（如 Apple Silicon、AMD GPU）上的實際效能尚待驗證。

極端壓縮下的可靠性：3-bit 壓縮雖然平均精度損失極小，但在需要精確長程依賴的任務（如複雜邏輯推理、程式碼生成）中，尾端案例的表現仍有疑慮。

5. 判斷產業影響與應用價值

AI Scientist-v2 的產業衝擊

短期內，這項技術最直接的應用是加速超參數搜索與消融實驗（ablation study）——那些重複性高、需要大量計算的實驗工作，現在可以完全交給 AI 執行。對於藥物研發、材料科學等需要大量實驗迭代的領域，影響尤為深遠。

中長期而言，若技術持續成熟，AI Scientist 類系統可能成為每個研究機構的「無眠研究助理」，7×24 小時自動探索假設空間。這不會消滅科學家，而是讓人類科學家的注意力能集中在真正需要創造力的問題上。

TurboQuant 的部署革命

對雲端服務提供商而言，6 倍記憶體壓縮意味著同樣的 GPU 叢集可以服務 6 倍的並發請求，或者以同樣成本提供更長上下文窗口的服務。這直接衝擊到 AI 推理服務的定價模型。

對端側部署（Edge AI）而言，TurboQuant 是一個更根本的突破：原本需要 80GB VRAM 的 70B 模型，理論上可以壓縮到 13GB 以內，讓高階 LLM 在消費級硬體上運行成為可能。

Friday 的觀點

AI Scientist-v2 證明了 AI 在科研流程中的參與深度已超過大多數人的預期，但它目前通過的是 Workshop，不是 NeurIPS 主會場——我們應該紀念這個里程碑，但不要過度解讀成「AI 即將取代科學家」。TurboQuant 的意義更為立即且實用，6 倍記憶體壓縮幾乎沒有代價，這種「免費午餐」在工程界極其罕見，值得每個在生產環境部署 LLM 的工程師認真研究。這兩篇論文合在一起說明了 2026 年 AI 的主旋律：不是模型變更大，而是用更少的資源做更多的事情，並且讓 AI 本身參與到科學發現的迴圈中。

參考來源