# 延伸練習 v3：Tokenization、成本與證據

**GenAI for Humanities · Session 9**。本頁是延伸練習，不取代 LING5006 A1 正式繳交規格。若從 LING5006 進入，先看 [A1 入口](https://lopentu.github.io/courses/cllt2026/a1/)。成績與繳交方式以各課程網站及 NTU COOL 公告為準。個人或兩人一組；兩人組在首頁列出分工。

[實驗工作台 v3](https://lopentu.github.io/genai4humanities2026/lab/session-9/zh-tokenizer.html) · [程式與方法](index.html)

## 要練的事

從「這組文字多了幾個 token」往前檢查材料與分母，往後檢查成本情境與公平性判斷。效果大小、統計證據、因果機制與語言理解是不同主張。

1. 宣告比較單位與範圍，讓讀者知道結論適用於哪些材料。
2. 控制字形、用詞、語法、語體、長度與指涉；控制不足要明說。
3. 分開量實際切分、詞表覆蓋與下游能力。
4. 主動找反例，不以得到顯著效果作為成功條件。

## 兩條路徑，擇一

### 路徑 A：系統擴充

實作一個能改變研究問題可觀察範圍的變項；評量重點是設計與證據，不是程式量。

| 題目 | 可回答的問題 | 必須控制或記錄 |
|---|---|---|
| 其他 tokenizer 家族 | 效果在所選 tokenizer 間是否相同？ | 模型／tokenizer ID、revision、詞表大小、前置切分、special-token 政策；不能由團隊國籍直接推論原因 |
| 真實文本的抽樣框 | 自撰材料的差異能否在特定語料重現？ | 來源、授權、版本、配對與納入規則；建議 n≥500，但先說清楚獨立分析單位 |
| 人工詞界或 CKIP 參照 | 切分邊界與某一套語言學標準相符嗎？ | CKIP 也不是 gold；提供參照標準、人工抽查與共同 byte 座標 |
| 詞表分類 | 多字條目有哪些形式類型？ | 可抽 200 條；兩位標註者的類別定義、一致率、Cohen's κ 與分歧處理 |
| 其他書寫系統／混排 | 當分母換成碼位、bytes 或詞，結論如何改變？ | 羅馬字、注音、組合字元與 grapheme 的差別 |
| 構式下游測試 | 多 token 的形式是否仍能被模型理解與泛化？ | 人工驗證最小對比、模型與提示版本、重複次數、評分標準；tokenizer 測量與模型測試分開 |

**繳交物**：PR 或 repo fork，含可執行分析入口，加 3–5 頁說明：動機、設計、結果、反例與對原主張的修正。

### 路徑 B：評量報告

使用或小幅修改現有系統，設計一項有對照的評量。

| 題目 | 可檢驗假設 | 不能從結果直接推出 |
|---|---|---|
| 文言、法律、學術或網路語體 | 所選平行材料的 tokens/碼位是否不同？ | 訓練資料頻率、所有該語體的表現 |
| 音譯／意譯與專名 | 在字形與句架固定時，用詞對比是否改變成本？ | token count 等於訓練頻率；不同譯名必定指涉相同 |
| 中英混排、程式碼與註解 | 配對的語言切換條件是否改變比率？ | 差異必然來自語言切換機制 |
| 標點與排版 | 意義不變的排版變體是否改變切分？ | 所有使用者都因此承受同一程度的不公平 |
| 歷時材料 | 明確抽樣框下的時期差異是否重現？ | 詞表是某一年的語料快照 |
| 構式表面邊界 | 特定實體形式或插入變體如何切分？ | 多 token 表示模型不懂構式；單 token 表示懂構式 |
| v3 敏感度重現 | 全部 vs 篩選項目、不同分母下的估計是否改變？ | 信心標記等於母語者驗證 |

**繳交物**：4–6 頁報告，加可重現 notebook 或 script。

## 共同最低要求

1. **問題與假設**：至少一個可被推翻的預測，說明語言學理由。
2. **材料與控制**：公開原文、轉換文本、配對 ID、篩選理由；香港書面中文與書面粵語分開。
3. **Datasheet**：來源、授權、版本、抽樣框、獨立項目／文件數與已知偏誤。
4. **指標**：寫出公式與分母。混排不只報 tokens/漢字；fertility 說明詞界來源；片段有效性直接查 bytes。
5. **不確定性**：對跨項目／文件的效果報點估計與適當區間；按獨立單位重抽。單一句例的 token 數是確定性測量，不需假造 CI。小樣本或不適合推論時，說清楚描述範圍與限制。
6. **反例搜尋**：記錄搜尋方式與結果；可呈現反例、預測失敗或穩健性檢查。不要為了交作業製造不顯著結果。
7. **詮釋**：區分材料差異、機制假設、成本情境與下游能力。CI 與 Wilcoxon 的假設不同；探索 p 值不當成確認性結論。
8. **可重現與 LLM 使用聲明**：版本、seed、參數、指令、輸出與來源；列出模型做過的程式、翻譯與潤稿工作。使用不扣分，缺少聲明會影響可重現性評量。

## 延伸練習評分參考（100 分）

| 面向 | 配分 | 評量重點 |
|---|---:|---|
| 問題與假設 | 20 | 可被推翻、有語言學理由 |
| 設計與控制 | 25 | 分離變項、公開篩選與控制不足 |
| 測量與統計 | 25 | 分母與分析單位清楚，效果及不確定性相配 |
| 詮釋與論證 | 20 | 證據範圍與推論一致，機制主張另有驗證 |
| 可重現性 | 10 | 來源、版本、seed、執行入口與 LLM 聲明齊備 |

延伸練習可加分至 +5：發現可重現的系統錯誤或提出有控制的反例。LING5006 正式 A1 的配分與繳交依課程公告；本表不變更正式課程規則。

## 起步與報告骨架

```bash
python -m pip install -r requirements.txt
bash vendor_ranks.sh
python run_study.py
python validate.py
python build_web.py --out zh-tokenizer.html --site courses
```

先重現 v3，再以一個新假設改動。比較時使用相同單位的對比，不把邊際平均效果硬加成直接差異。

報告可按這個順序寫：研究問題 → 材料與排除規則 → 分母與測量 → 項目內對比 → 反例／敏感度 → 推論邊界 → 重現資訊。

[原始 Markdown](assignment1-tokenization-unfairness.md) · [完整資料](data/study.json) · [測量 CSV](data/measurements.csv) · [計算驗證](data/validation.json)