推理與測試階段計算

同一個模型、同一組權重，但只要先寫出中間步驟，答案就可能由錯轉對。我們上週談的是包在模型外面的語言結構；本週轉向模型「回答之前」的那段文字：它從哪裡來、為什麼有用，以及它是否如實反映了模型的計算。

7.1總覽

想像你正在考一張非常難的數學考卷：一般的 AI 模型（心算派）就像一個習慣用心算的學生。看一眼題目，腦袋裡轉一下，就直接在答案卡上填 A、B、C。遇到簡單的題目很快，但遇到需要轉好幾個彎的難題，很容易粗心算錯；推理模型（草稿派）則像一個經過老師特別嚴格訓練的學生。這個學生遇到問題時，「絕對不會」直接填答案，而是會先在草稿紙上把又長又完整的「思考過程」一步步寫下來（例如：因為 A 等於 5，B 等於 10，所以加起來是 15 . . . ）。等全部想通了，他才會寫下最終答案。

推理（reasoning）：本講義採較窄的用法，指從已知條件出發，經由多個中間步驟得到結論的過程。對語言模型而言，這些中間步驟都以詞元的形式寫出。

測試階段計算（test-time compute）：模型訓練完成之後，在回答問題時額外花費的計算：寫更長的推理、抽樣更多候選答案，或以驗證器挑選。與之相對的是訓練階段計算，也就是加大模型、增加資料。

附註：中文的「推理」也常用來翻譯 inference（模型的前向運算）。本週談的是 reasoning；提到前者時，講義一律寫作「推論運算」。

類比是剛剛提的心算與草稿紙。心算時，所有中間結果都得留在腦中；有了草稿紙，算到一半的數字可以寫下來，下一步再讀回來用。對 Transformer 而言，寫下的詞元會成為下一個位置的輸入，等於每寫一個字，就多一次「從底層重新算一遍」的機會。理論研究支持這個直覺：沒有中間步驟時，固定深度的 Transformer 能直接算出的問題類別相當有限；允許它產生中間步驟之後，可解的問題類別會隨步數擴大（Feng et al., 2023；Merrill & Sabharwal, 2024）。

7.2思維鏈

最早、也最便宜的做法：只改提示，不改權重。

思維鏈提示（chain-of-thought prompting）：在少樣本示範中附上逐步的推理過程，讓模型在作答前也先寫出推理（Wei et al., 2022）。

Wei et al.（2022）也發現，思維鏈的好處和規模有關：在他們測試的模型裡，小模型寫出的推理常常流暢卻不合邏輯，表現甚至變差；要到約千億參數的規模，效果才明顯浮現。

零樣本思維鏈（zero-shot CoT）：不給示範，只在問題後加一句觸發語，例如 “Let’s think step by step.”（Kojima et al., 2022）。在 MultiArith 算術題上，這一句話讓 InstructGPT（text-davinci-002）的正確率由 17.7% 提高到 78.7%。

7.3組合性的極限

寫出步驟有幫助，但步驟一多，錯誤也跟著累積。

組合性任務（compositional task）：解答可以拆成許多子步驟，每一步的輸出是下一步的輸入。Dziri et al.（2023）把這種結構畫成計算圖，以多位數乘法、愛因斯坦謎題與動態規劃為例，測試模型能否把學過的小步驟組合成新的大問題。

def long_mult(a, b):
    """直式乘法：回傳草稿步驟與一位數運算的次數"""
    steps, ops, partials = [], 0, []
    for i, d in enumerate(reversed(str(b))):
        p = a * int(d)
        ops += len(str(a))                 # 每一位各乘一次（含進位）
        partials.append(p * 10 ** i)
        steps.append(f"{a} × {d} = {p}，左移 {i} 位")
    total = partials[0]
    for q in partials[1:]:
        s = total + q
        ops += len(str(s))                 # 逐位相加（含進位）
        steps.append(f"{total} + {q} = {s}")
        total = s
    return steps, ops, total

steps, ops, total = long_mult(472, 38)
assert total == 472 * 38                  # 17936，共 11 次一位數運算

Dziri et al.（2023）的實驗結果與這個簡化模型方向一致：模型在小問題上表現很好，問題的計算圖一旦變大，正確率便急遽下降；即使提供草稿，或以同類問題微調，對訓練分布之外的大問題仍然幫助有限。他們的解釋是，模型多半在做「線性化的子圖比對」：把新問題拆成訓練時見過的片段來套用，而不是真正學會了可以任意組合的運算規則。

7.4測試階段計算

一次答不對，就多答幾次；這小節在解釋 LLM 如何透過「多答幾次」來對付超難的題目。關鍵是怎麼從多個答案裡挑出對的那一個。

自我一致性（self-consistency）：就像「自己跟自己投票」的多數決。抽樣多條思維鏈，對最終答案做多數決（Wang et al., 2023）。

最佳 N 選一（best-of-N）：就像「寫多份草稿讓小幫手挑」。抽樣 N 個答案，由驗證器打分，選分數最高者（Cobbe et al., 2021）。

覆蓋率（pass@k）：抽樣 k 次，至少有一次答對的機率。如果每次解題只有 30% 的機率算對，只算一次很容易錯。但如果讓它連續試 k 次（例如 10 次），這 10 個答案堆裡「至少有一個是正確答案」的機率就會變得非常高。不過，覆蓋率高只代表正確答案藏在紙堆裡，還是得靠上面說的「投票」或「驗證器」把它順利挑出來。若每次答對的機率為 p，則 pass@k ＝ 1 −（1 − p）^k。它是「完美驗證器」的上限：答案就在候選裡，只是不一定挑得出來（Brown et al., 2024）。

圖 7.6 是在比較前面提到的「三種從草稿堆中挑答案的策略」，看看哪一種方法最能幫 AI 提高最終分數。圖表的讀法是：橫軸（往右）表示 AI 試算與抽樣的次數（寫了幾份草稿），從 1 次一路增加到 64 次。縱軸（往上）表示最終成功答對的機率。

藍色虛線（pass@N：紙堆裡至少有一個是對的）：這是最理想的「理論上限」。就像你瘋狂解題，試算的次數越多（往右走），「這 64 張草稿裡至少有一張寫對」的機率就越高，理論上很快就逼近 100%。

紅色實線（自我一致性：多數決投票）：這是讓所有草稿「自己跟自己投票」。你可以看到，隨著試算次數增加，多數決的效果非常好。這說明只要算的次數夠多，「正確答案」通常就是出現最多次、最集中的那一個。

綠色實線（最佳 N 選一：驗證器打分）：這是請另一個負責檢查的 AI（驗證器）來挑選最好的一份交卷。這條線雖然也有上升，但最後卻卡著。這是因為這個驗證器的眼光並非 100% 完美（可調整圖中可靠度），所以即使正確答案就在眼前，它還是有可能「看走眼」挑到錯的。

結果獎勵與過程獎勵：這段在解釋模型的「檢查員」（驗證器）在幫草稿打分數時，可以採取的兩種不同標準。驗證器可以只看最後答案（outcome reward model，ORM），也可以逐步評分（process reward model，PRM）。Lightman et al.（2023）以人工標註的逐步回饋訓練 PRM，發現它在挑選數學解答時優於只看結果的 ORM。

預算強制（budget forcing）：直接控制模型「想多久」的技術。簡單來說，就是我們設定一個「思考時間的額度（預算）」，由系統扮演嚴格的監考老師，直接規定模型必須想多久。想太久就強制插入結束標記；想太短就壓下結束標記，接上一個 “Wait”，讓模型繼續推理（Muennighoff et al., 2025）。

這個例子也連回我們先前提到的，模型讀到的是詞元，而不是一個個字母。raspberry 在分詞器裡可能被切成幾個片段（實際切法依分詞器而定），所以「數字母」對模型反而是需要一步一步展開的工作。Snell et al.（2024）進一步指出，若依題目難度妥善分配測試階段計算，在總計算量相同的比較下，小模型在較容易與中等難度的問題上，可以勝過參數多出約 14 倍的模型；最難的題目則仍需要更強的基礎模型。

7.5推理模型

與其每次在提示裡要求「一步一步想」，不如把這個習慣直接訓練進模型。這是理解大型語言模型如何從「預測下一個 token」走向「學會推理」的重要環節。

推理模型（reasoning model）：經過專門訓練、會在作答前先產生一段長推理的模型，例如 OpenAI 的 o1（2024）與 DeepSeek-R1（DeepSeek-AI, 2025）。這段推理通常以特殊標記包住，與最後的答案分開。這就像是把「私下的草稿紙」和「正式的答案卷」分開處理。模型在思考時，會用特別的符號（例如 這裡面放各種自我糾正和碎碎念 ）把它長篇大論的推理過程框起來。這樣的好處是，我們身為看答案的人，可以直接得到一個乾淨、正確的「最終結果」，而不會被它中間龐雜的運算過程干擾。

規則獎勵與 GRPO (Group Relative Policy Optimization）：這是「不靠老師，讓模型透過不斷試錯來自我進化」的特別訓練法。

首先，我們需要知道獎勵如何定義？

對於數學、程式設計或形式邏輯，有些答案可以直接驗證，不一定需要另一個神經網路來評分。例如，要求模型計算 \(17 \times 23\)。如果正確答案可以由程式確認，我們便可以設計：

這就是一種簡單的規則獎勵（rule-based reward）。當獎勵建立在可驗證的正確性上時，便與 Reinforcement Learning with Verifiable Rewards（RLVR）密切相關。

DeepSeek-R1-Zero 直接從基礎模型出發，只用強化學習訓練。獎勵不靠另一個神經網路，而是兩條規則：答案是否正確（數學題比對答案，程式題跑測試），以及推理是否寫在指定的標記之間。 只靠這兩條規則，R1-Zero 在訓練過程中自己學會了寫更長的推理、回頭檢查與改口；論文稱之為「頓悟時刻」（aha moment）。它在 AIME 2024 上的 pass@1 由 15.6% 提升到 71.0%，以多數決投票更達 86.7%。代價是推理不易閱讀，而且常常中英夾雜。

這裏的關鍵在於，模型不需要知道標準推理過程，也可能透過最終答案的獎勵訊號改善推理能力。 但這並不保證過程本身正確 。接下來便會引出 GRPO 的核心問題：同一道題目，模型生成多個答案時，如何利用它們的相對表現改善策略？ 演算法 GRPO（group relative policy optimization）對同一題抽樣一組 \(G\) 個回答，以組內的相對好壞作為學習訊號：

7.6思維鏈忠實嗎

寫出來的推理，是模型真正的理由，還是事後補上的說明？

忠實性（faithfulness）：一段推理是否如實反映了模型得出答案的過程。推理可以是正確的、合理的，卻依然不忠實。

在 BIG-Bench Hard 的多項任務上，這類偏誤讓正確率最多下降 36%，而模型的推理幾乎從不提及「示範答案都是 (A)」這件事（Turpin et al., 2023）。後續研究以推理模型重做類似的實驗，得到相近的結論：模型即使使用了提示中的線索，在推理中坦白承認的比例也往往偏低（Chen et al., 2025）。

Lanham et al.（2023）發現，推理對答案的影響程度因任務而異；而在他們研究的多數任務上，模型愈大、能力愈強，推理反而愈不忠實。這提醒我們：讀得懂的推理很有價值，但不能直接當成模型內部計算的紀錄。

7.7反方向：System One 模型

本週一路在談「多想一點」。2026 年 9 月出現的另一條路線反過來問：許多決策，是否根本不需要寫出任何字？

System One 模型：輸入一段狀態與一組事先定義好的選項，一次運算就輸出各選項的機率，不產生任何文字。名稱借自 Kahneman（2011）的雙系統說：System 1 快速、直覺、不費力；System 2 緩慢、審慎、按部就班。依這個比喻，前幾節的思維鏈與推理模型都屬於 System 2。

附註：「System One 模型」是 TypeSafe 公司為產品類別所取的名稱，後續的開源模型沿用了這個說法；它目前是業界的類別標籤，不是學界的定義。本節的數字除另註者外，皆為開發者自行報告。

TypeSafe 宣稱 Jev「不會幻覺」。這句話的準確意思是：答案只能落在事先定義的選項之內，所以不可能出現格式錯誤或不存在的類別；它並不保證選對。在 TypeSafe 自己設計的四類工作流程上，Jev 與參考答案的一致率約 67.8%，低於最強的幾個大型語言模型約五到六個百分點，換來的是快一到兩個數量級的速度與低得多的成本。TypeSafe 的文件也提醒：計數、算術、日期與相近數值的比較，不宜交給 Jev。

對比語言模型（contrastive language model，CLM）：把決策當成檢索。狀態編碼器與動作編碼器各自把輸入映射成向量，訓練時把配對的狀態與動作拉近、不配對的推遠；推論時計算狀態與每個候選動作的餘弦相似度，再以 softmax 化為機率。訓練目標是 InfoNCE，與 CLIP 和稠密檢索屬於同一家族：

import numpy as np

def info_nce(S, A, tau=0.2):
    """S, A：N×d 的狀態與動作嵌入；第 i 列彼此配對"""
    S = S / np.linalg.norm(S, axis=1, keepdims=True)
    A = A / np.linalg.norm(A, axis=1, keepdims=True)
    logits = S @ A.T / tau                    # N×N 的 s_ij / τ
    logits -= logits.max(axis=1, keepdims=True)
    p = np.exp(logits) / np.exp(logits).sum(axis=1, keepdims=True)
    return -np.log(np.diag(p)).mean(), p

def decide(state_vec, action_vecs, tau=0.2):
    """推論：一次編碼狀態，與快取好的動作向量做內積"""
    _, p = info_nce(state_vec[None], action_vecs, tau)
    return p[0]                              # 只在既有候選上分配機率

CLM 分三階段訓練：約 6,000 萬筆問答配對、約 3,000 萬筆合成的「難負例」（看似合理的錯誤答案），以及約 100 萬筆真實的代理執行軌跡。動作的向量可以事先算好、快取起來，每一步只需編碼一次狀態，再做幾次內積，這是它比 Jev 更快的主要原因。它的限制也很直接：只能在應用程式提供的候選中挑選，無法提出新的動作，機率也只是相對於這組候選而言。值得注意的是，CLM 報告的程式任務成績（DeepSWE 81.6%、Terminal-Bench 2.1 87.6%）並非由它自己寫程式，而是經過輕量微調後，擔任驗證器，從其他模型產生的候選解答中挑選。這正是 7.4 節「生成者與驗證者」的分工：System One 負責挑，System 2 負責寫。

def route(decisions, threshold, think):
    """decisions：(state, choice, confidence) 的串列；think：慢速推理模型"""
    out = []
    for state, choice, conf in decisions:
        if conf >= threshold:
            out.append((choice, "system1"))          # 夠有把握：直接採用
        else:
            out.append((think(state), "system2"))   # 沒把握：停下來想
    return out

一項以 Doom 遊戲為場景的獨立研究，正好測試了這種分工（Bailo, 2026）。把某個開源 System One 模型最沒把握的 30% 決策轉交給會推理的模型，指令正確率由 0.56 提高到 0.75，比隨機轉交同樣比例高出 0.15；而轉交帶來的好處，與 System One 信心的鑑別力（AUROC）高度相關。換言之，System One 最有價值的輸出，可能不是答案本身，而是它對自己答案的把握。

附註：圖 7.1 的深度論證可以預測 System One 模型擅長什麼。一次前向運算只有固定的串列深度，適合「讀一遍就能判斷」的決策；需要多步串列計算的問題，例如計數與算術，正是它的官方文件建議避開的。

回顧：說出來的，算不算思考？

回到本週問題。學界對於語言模型「說出來的字算不算思考」主要有三種截然不同的切入點，各有依據，也各有難處。

課堂討論

1. 在圖 7.6 中把錯誤集中度調高。為什麼多數決的曲線會停在某個高度，甚至往下走？這對「群眾智慧」的說法有什麼啟示？
2. 圖 7.7 的解答 B 答案正確、理由錯誤。若你是閱卷老師，會給幾分？這和 ORM 的評分邏輯有何不同？
3. Vygotsky 觀察到，兒童遇到困難的任務時，自言自語會變多。這與「題目愈難，推理模型寫得愈長」是同一種現象嗎？
4. 如果中英夾雜的推理比較有效，我們應該要求模型用單一語言思考嗎？請從可讀性、可稽核性與效能三方面討論。
5. 設計一個實驗，檢驗某個模型的推理是否忠實。你會截斷、改寫，還是在推理中故意埋入錯誤？各自能證明什麼？
6. System One 模型故意不產生文字。這是「比較差的推理」，還是另一種根本不需要外化言語的認知路徑？請對照本週的思維鏈與忠實性兩節。

閱讀

• Wei, J., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. arXiv:2201.11903
• DeepSeek-AI (2025). DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv:2501.12948
• Dziri, N., et al. (2023). Faith and fate: Limits of transformers on compositionality. arXiv:2305.18654
• Mercier, H., & Sperber, D. (2011). Why do humans reason? Arguments for an argumentative theory. Behavioral and Brain Sciences, 34(2). doi（選讀）

講義另引：Brown et al. (2024) Large Language Monkeys；Chen, M., et al. (2021) Codex；Chen, Y., et al. (2025) Reasoning models don’t always say what they think；Cobbe et al. (2021) GSM8K verifiers；Feng et al. (2023)；Fodor & Pylyshyn (1988)；Kojima et al. (2022)；Lanham et al. (2023)；Lightman et al. (2023)；Merrill & Sabharwal (2024)；Muennighoff et al. (2025) s1；Nisbett & Wilson (1977)；Snell et al. (2024)；Turpin et al. (2023)；Wang et al. (2023)。