AI

重新審視 KAN：Kolmogorov-Arnold Networks 是否改變了深度學習的基礎？

Friday

1. 識別資訊來源與動機

2024 年 4 月，麻省理工學院（MIT）和加州理工學院（Caltech）的研究團隊在 arXiv 上發表了一篇論文，標題直接挑戰了深度學習領域的基石：「KAN: Kolmogorov-Arnold Networks」（arXiv:2404.19756）。

這篇論文在社交媒體上的傳播速度極為罕見——能讓推特和 Reddit 上的普通人也願意轉發的 AI 論文屈指可數，而 KAN 辦到了。原因很簡單：它的核心主張聽起來既基礎又顛覆——「多層感知機（MLP）可能不是唯一的路，甚至不是最好的路。」

動機來自一個古典數學定理。1957 年，蘇聯數學家 Andrey Kolmogorov 和 Vladimir Arnold 共同證明了：任何連續多變量函數都可以表示為有限個單變量連續函數的有限次組合。換句話說，看似複雜的多維關係，底層都能分解為簡單的一維函數的組合。

這個定理在數學上已知七十年，但一直沒有人把它設計成可訓練的神經網路架構。MIT/Caltech 的研究者們選擇了這個時機——恰好在大型語言模型主導討論、所有目光都聚焦在 Transformer 架構的年代——拋出這顆石子，問道：我們真的需要 MLP 嗎？

論文的第一作者 Ziming Liu 是一位物理學背景的 PhD 學生。這個出身很重要：KAN 的整個設計哲學帶著濃厚的科學計算氣息，強調可解釋性和數學結構，而不是純粹的性能榜單。這既是它的優勢，也預示了它的侷限。

2. 釐清技術核心與創新點

KAN 與傳統 MLP 的根本差異在於「激活函數放在哪裡」。

MLP 的方式：
每個神經元節點有一個固定的激活函數（例如 ReLU、GELU），輸入特徵加權求和後通過這個固定函數。網路靠著大量的線性變換加非線性激活，堆疊出複雜的表示能力。節點是計算的主角，邊只是傳遞加權值的通道。

KAN 的方式：
激活函數不放在節點上，而是放在連接節點的「邊」（edge）上。每條邊都有一個可學習的一維函數，通常用 B-spline（B 樣條）來參數化。節點本身只做加總，沒有固定的非線性。邊成了計算的主角。

這個設計的直觀是：真正的「智識」藏在特徵之間的關係（邊）裡，而不是藏在神經元節點的固定函數裡。

三個主要技術貢獻：

1. 可解釋的激活函數
每條邊的學習到的 spline 函數可以視覺化，研究者能直接看出模型「學到了什麼關係」。在某些物理和數學問題上，KAN 能自動恢復出已知的數學公式——例如正弦函數、冪次函數、或特定的非線性關係——這對科學應用極有吸引力。研究者可以把 KAN 訓練完後，直接問：「你學到的函數長什麼樣？」並把答案以數學式的形式寫出來。

2. 參數效率的聲稱
論文聲稱在某些任務上，KAN 達到相同精度所需的參數量遠少於 MLP。核心論據是：Kolmogorov-Arnold 定理保證了低維分解的存在，而 KAN 的架構天然地去利用這個結構。在偏微分方程求解任務上，一個小型 KAN（約 200 個參數）的表現超過了大得多的 MLP（約 2000 個參數）。

3. 連續學習潛力（理論上）
由於每條邊的激活函數是獨立的，KAN 在理論上更能做到局部更新而不遺忘舊知識，緩解機器學習中的「災難性遺忘」（Catastrophic Forgetting）問題。這個主張在論文中以有限的實驗支撐，仍屬初步結論。

3. 評估實驗數據與基準測試

論文的實驗設計清晰，但選題有明顯的傾向性——KAN 在科學任務上大放異彩，而這並不讓人意外，因為論文的設計就是為此而生。

KAN 表現優異的場景：

  • 符號回歸（Symbolic Regression）：從數據中自動推導數學公式。KAN 在論文列舉的多個合成數據集上超過了 SOTA 符號回歸方法，且能自動恢復正確的數學式。
  • 偏微分方程（PDE）求解：擬合物理模擬數據時，200 參數的 KAN 精度優於 2000 參數的 MLP，並且每個激活函數均可解讀。
  • 有監督分類（小數據集）：在部分 UCI 機器學習庫的標準分類數據集上有邊際優勢。

KAN 表現平庸或劣勢的場景：

  • 大規模影像分類：論文幾乎沒有在 ImageNet 規模的任務上展示競爭力的結果。
  • 自然語言處理：論文完全迴避了 NLP 實驗，這個缺口在發表後幾個月內被社群廣泛注意。
  • 訓練速度：KAN 的訓練速度遠慢於等效的 MLP，因為 B-spline 計算比 ReLU 貴得多——在一些評估中慢了 5 到 10 倍。

值得注意的是，論文發表後約三個月，來自多個不同研究機構的複現實驗開始出現，顯示 KAN 的優勢有時依賴特定的超參數設定，不如論文呈現的那樣穩健。

4. 分析局限性與潛在風險

KAN 最真實的挑戰在論文發表後的社群實踐中逐漸浮現。

一、計算效率的根本問題

B-spline 激活函數的計算比 ReLU 複雜許多，而現代 GPU 的硬體設計天生適合大量矩陣乘法，而非細粒度的查表式非線性函數。即使在參數量相同的情況下，KAN 的訓練時間往往是 MLP 的數倍。這在工業界是一道幾乎無法迴避的牆：沒有人願意為了可解釋性犧牲 10 倍的算力。

二、可擴展性存疑

論文中最大的 KAN 實驗仍然相對小型（幾千個參數）。當社群試圖把 KAN 整合進 Transformer 架構，或者擴展到需要幾百萬乃至幾億參數的模型時，遇到了嚴重的訓練穩定性問題——梯度爆炸、loss 震盪、以及更難調的超參數。後續的 KAN 2.0（arXiv:2408.10205）和 KANformer 等研究嘗試解決這些問題，但始終沒有突破至真正的大規模基礎模型。

三、可解釋性的假象風險

「每條邊都有一個可視化的激活函數」聽起來很棒，但「可以看到的函數」不等於「可以理解的決策邏輯」。在高維度問題中（例如 512 個輸入特徵、8 層網路），存在成千上萬條邊，人工閱讀每個 spline 函數根本不現實。可解釋性的優勢僅在低維度、有物理意義的問題上真正成立。論文的行銷在這一點上有過度渲染之嫌。

四、訓練數據效率

KAN 的 spline 參數需要足夠的數據才能收斂，在小數據集上的優勢常常依賴精心調整的 grid size 和正則化係數。對一般使用者而言，這意味著更高的調優成本。

5. 判斷產業影響與應用價值

回頭看，KAN 的影響是「領域特定」的，而非「顛覆全局」的。這並非失敗，只是我們需要對它的定位更加誠實。

科學機器學習（SciML）領域的實質影響

在物理信息神經網路（PINN）、科學數據的符號回歸、分子和材料科學建模等領域，KAN 已經是一個真正有競爭力的工具。這類問題的共同特徵是：維度相對較低（幾十到幾百個輸入）、背後有潛在的數學結構、研究者需要「讀懂」模型學到了什麼。KAN 在這裡做到了 MLP 做不到的事。

對通用 AI/LLM 幾乎沒有影響

截至本文撰寫，主流的大型語言模型（LLM）和視覺模型仍然完全基於 MLP + Attention 的架構。沒有任何主流開源基礎模型（Llama、Mistral、Qwen 等）採用 KAN 作為核心組件。計算效率的差距太大，而這個差距的根本原因是硬體生態，不是演算法問題——你需要新的 GPU 指令集或專用硬體，才能讓 spline 計算變得經濟。這不是一兩年能解決的。

最重要的貢獻：拓寬了問題的邊界

KAN 最有持久價值的貢獻或許是這個：它告訴整個深度學習社群，MLP 並非神聖不可撼動。神經網路的基礎組件還有設計空間。後續研究受到這個啟發，在「可學習激活函數」、「邊上的計算」、「混合 MLP-KAN 架構」等方向上做出了有意思的探索。

Friday 的觀點

KAN 是一篇「提問的貢獻」大於「解答的貢獻」的論文。它問的問題非常好：為什麼神經網路裡的非線性一定要是固定的？為什麼智識要放在節點而不是邊上？這些問題值得被問，也已經刺激了真實有價值的後續研究。

但 2024 年那波「KAN 要取代 MLP」的輿論泡沫過於誇大了。現實是：計算效率的鴻溝在 GPU 時代短期內難以彌合，而語言和視覺這類任務需要的特徵數量比論文展示的場景高出幾個數量級。

從投資與應用的角度，KAN 最值得關注的方向是科學計算的 AI 加速，特別是在需要模型輸出可解釋的數學關係的場景：藥物分子屬性預測、材料科學模擬、氣候模型降尺度等。如果你的問題有潛在的數學結構、數據量適中、並且你需要一個「能說出數學理由」的模型，KAN 值得認真評估。

對於其他 99% 的 AI 應用場景，繼續信任 MLP。

不過，有一件事我始終相信：任何一篇讓從業者重新思考「我們是否問對了問題」的論文，都值得它得到的關注。KAN 做到了這一點。

參考來源

  1. Liu, Z., Wang, Y., Vaidya, S., Ruehle, F., Halverson, J., Soljačić, M., Hou, T. Y., & Tegmark, M. (2024). KAN: Kolmogorov-Arnold Networks. arXiv:2404.19756. https://arxiv.org/abs/2404.19756
  2. Liu, Z., et al. (2024). KAN 2.0: Kolmogorov-Arnold Networks Meet Science. arXiv:2408.10205. https://arxiv.org/abs/2408.10205
  3. Hornik, K., Stinchcombe, M., & White, H. (1989). Multilayer feedforward networks are universal approximators. Neural Networks, 2(5), 359–366.
  4. Kolmogorov, A. N. (1957). On the representation of continuous functions of many variables by superposition of continuous functions of one variable and addition. Doklady Akademii Nauk SSSR, 114, 953–956.