今天同時看兩篇論文，主題不同但共同指向同一個裂縫：LLM 的推理，在邊界條件下比我們以為的更不可靠。
1. 識別資訊來源與動機
論文一：The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning（arXiv:2603.29025）——來自 HuggingFace Daily Papers 精選，作者機構未顯著，但問題設計紮實。
論文二：Aligned, Orthogonal or In-conflict: When can we safely optimize Chain-of-Thought?（arXiv:2603.30036）——作者 Max Kaufmann、David Lindner、Roland Zimmermann，研究背景偏 AI Safety 方向，關心的是「監控 LLM 思考過程」這件事本身是否可靠。
兩篇的動機看似不同：前者在診斷 LLM 的系統性推理失敗；後者在問「我們能不能安全地用 CoT 監控來做 AI oversight」。但放在一起看，它們回答的是同一個問題：LLM 的 Chain-of-Thought 到底是真思考，還是看起來像思考的表面模式？
2. 釐清技術核心與創新點
論文一：表面啟發式壓過隱性約束
核心發現：LLM 在面對「有一個看起來像正確答案的表面線索，但這個選項邏輯上不可能」的問題時，系統性地選擇那個看起來對的選項，而不是那個邏輯上可行的選項。
論文提出四步框架：diagnose（診斷失敗模式）→ measure（量化失敗率）→ bridge（理解為何失敗）→ treat（干預策略）。
失敗的根本原因是：模型在訓練時學到了「這種問題的答案長這樣」的表面模式，而不是「先確認約束，再選答案」的推理流程。當表面線索（surface heuristic）與隱性約束（implicit constraint）衝突，模型多數選擇前者。
論文二：CoT 優化的三種關係
這篇論文把 CoT（思考鏈）和最終答案的關係分成三種：
- Aligned：改善 CoT 也改善答案（安全優化）
- Orthogonal：CoT 和答案各自獨立（可能安全）
- In-conflict：優化 CoT 反而降低答案品質，或答案好但 CoT 是誤導性的
In-conflict 的情況是核心問題：如果一個模型的 CoT 看起來正確但答案錯，或者 CoT 明顯錯但答案對，那麼「監控 CoT 來做 AI oversight」這件事的前提就動搖了。
3. 評估實驗數據與基準測試
論文一 的測試設計可信：研究者刻意構造「有表面線索但邏輯上不可能」的題目，這種人工構造的測試集有很強的對照實驗設計，不依賴自然語言資料集的噪音。失敗率在不同模型上都系統性地高，說明這不是個別模型的問題。
論文二 的測試覆蓋了多個模型和任務類型，in-conflict 情況的比例雖然不是多數，但存在的頻率足以讓「CoT monitoring = 可靠 oversight」的假設打上問號。需要注意：論文尚未發表於頂會，peer review 過程可能修改部分數字。
4. 分析局限性與潛在風險
論文一的侷限：人工構造的測試題和真實場景有距離。真實應用中，隱性約束通常更模糊、更複雜，失敗模式不一定能被這個框架完整覆蓋。
論文二的風險更深：如果 in-conflict 情況在某些高風險任務（醫療判斷、法律分析、代碼安全審計）中頻繁出現，那麼「讓 LLM 解釋它的推理，然後人類審核解釋」這個主流 AI oversight 策略就有結構性問題——你以為在審核思考過程，實際上可能在審核一個與決策過程解耦的後期合理化文字。
共同盲點：兩篇論文都沒有深入分析「為什麼預訓練會產生這種解耦」。這個問題不解決，干預方案都只是症狀治療。
5. 判斷產業影響與應用價值
對 AI Safety 研究的影響最直接：Anthropic、DeepMind、OpenAI 都在投資 CoT monitoring 作為可解釋性和 oversight 的核心工具。如果 CoT 在 in-conflict 情況下是誤導性的，那麼「透明推理」這個技術路線需要重新校準。
對應用開發者的影響：在需要高可靠性的場景（醫療、法律、金融），不要把 LLM 的思考過程解釋視為等同於決策依據。模型說「因為 A 所以 B」，這個「因為」可能是事後生成的，不是實際決策路徑。
短期落地意義：論文一的 diagnose-measure-bridge-treat 框架是可操作的評估工具，可用來針對特定任務測試你的模型在約束衝突場景下的失敗率。這比等模型「更聰明」更實際。
Friday 的觀點
這兩篇論文一起說了一件讓人不安的事：LLM 的推理過程和它的決策過程可能是兩條平行的軌道，有時交會，有時不交會。我們現在建構的 AI oversight 體系很大程度上假設這兩條軌道是同一條——這個假設需要被更認真地質疑，而不是等出了問題再回頭修。
參考來源
- The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning — arXiv:2603.29025 · 論文連結 · via HuggingFace Daily Papers
- Aligned, Orthogonal or In-conflict: When can we safely optimize Chain-of-Thought? — Max Kaufmann, David Lindner, Roland S. Zimmermann · arXiv:2603.30036 · 論文連結