延伸練習 v3：Tokenization、成本與證據
GenAI for Humanities · Session 9。本頁是延伸練習，不取代 LING5006 A1 正式繳交規格。若從 LING5006 進入，先看 A1 入口。成績與繳交方式以各課程網站及 NTU COOL 公告為準。個人或兩人一組；兩人組在首頁列出分工。
要練的事
從「這組文字多了幾個 token」往前檢查材料與分母，往後檢查成本情境與公平性判斷。效果大小、統計證據、因果機制與語言理解是不同主張。
- 宣告比較單位與範圍，讓讀者知道結論適用於哪些材料。
- 控制字形、用詞、語法、語體、長度與指涉；控制不足要明說。
- 分開量實際切分、詞表覆蓋與下游能力。
- 主動找反例，不以得到顯著效果作為成功條件。
兩條路徑，擇一
路徑 A：系統擴充
實作一個能改變研究問題可觀察範圍的變項；評量重點是設計與證據，不是程式量。
| 題目 | 可回答的問題 | 必須控制或記錄 |
|---|---|---|
| 其他 tokenizer 家族 | 效果在所選 tokenizer 間是否相同？ | 模型／tokenizer ID、revision、詞表大小、前置切分、special-token 政策；不能由團隊國籍直接推論原因 |
| 真實文本的抽樣框 | 自撰材料的差異能否在特定語料重現？ | 來源、授權、版本、配對與納入規則；建議 n≥500，但先說清楚獨立分析單位 |
| 人工詞界或 CKIP 參照 | 切分邊界與某一套語言學標準相符嗎？ | CKIP 也不是 gold；提供參照標準、人工抽查與共同 byte 座標 |
| 詞表分類 | 多字條目有哪些形式類型？ | 可抽 200 條；兩位標註者的類別定義、一致率、Cohen's κ 與分歧處理 |
| 其他書寫系統／混排 | 當分母換成碼位、bytes 或詞，結論如何改變？ | 羅馬字、注音、組合字元與 grapheme 的差別 |
| 構式下游測試 | 多 token 的形式是否仍能被模型理解與泛化？ | 人工驗證最小對比、模型與提示版本、重複次數、評分標準；tokenizer 測量與模型測試分開 |
繳交物：PR 或 repo fork，含可執行分析入口，加 3–5 頁說明：動機、設計、結果、反例與對原主張的修正。
路徑 B：評量報告
使用或小幅修改現有系統，設計一項有對照的評量。
| 題目 | 可檢驗假設 | 不能從結果直接推出 |
|---|---|---|
| 文言、法律、學術或網路語體 | 所選平行材料的 tokens/碼位是否不同？ | 訓練資料頻率、所有該語體的表現 |
| 音譯／意譯與專名 | 在字形與句架固定時，用詞對比是否改變成本？ | token count 等於訓練頻率；不同譯名必定指涉相同 |
| 中英混排、程式碼與註解 | 配對的語言切換條件是否改變比率？ | 差異必然來自語言切換機制 |
| 標點與排版 | 意義不變的排版變體是否改變切分？ | 所有使用者都因此承受同一程度的不公平 |
| 歷時材料 | 明確抽樣框下的時期差異是否重現？ | 詞表是某一年的語料快照 |
| 構式表面邊界 | 特定實體形式或插入變體如何切分？ | 多 token 表示模型不懂構式；單 token 表示懂構式 |
| v3 敏感度重現 | 全部 vs 篩選項目、不同分母下的估計是否改變？ | 信心標記等於母語者驗證 |
繳交物：4–6 頁報告，加可重現 notebook 或 script。
共同最低要求
- 問題與假設：至少一個可被推翻的預測，說明語言學理由。
- 材料與控制：公開原文、轉換文本、配對 ID、篩選理由；香港書面中文與書面粵語分開。
- Datasheet：來源、授權、版本、抽樣框、獨立項目／文件數與已知偏誤。
- 指標：寫出公式與分母。混排不只報 tokens/漢字；fertility 說明詞界來源；片段有效性直接查 bytes。
- 不確定性：對跨項目／文件的效果報點估計與適當區間；按獨立單位重抽。單一句例的 token 數是確定性測量，不需假造 CI。小樣本或不適合推論時，說清楚描述範圍與限制。
- 反例搜尋：記錄搜尋方式與結果；可呈現反例、預測失敗或穩健性檢查。不要為了交作業製造不顯著結果。
- 詮釋：區分材料差異、機制假設、成本情境與下游能力。CI 與 Wilcoxon 的假設不同；探索 p 值不當成確認性結論。
- 可重現與 LLM 使用聲明：版本、seed、參數、指令、輸出與來源；列出模型做過的程式、翻譯與潤稿工作。使用不扣分，缺少聲明會影響可重現性評量。
延伸練習評分參考（100 分）
| 面向 | 配分 | 評量重點 |
|---|---|---|
| 問題與假設 | 20 | 可被推翻、有語言學理由 |
| 設計與控制 | 25 | 分離變項、公開篩選與控制不足 |
| 測量與統計 | 25 | 分母與分析單位清楚，效果及不確定性相配 |
| 詮釋與論證 | 20 | 證據範圍與推論一致，機制主張另有驗證 |
| 可重現性 | 10 | 來源、版本、seed、執行入口與 LLM 聲明齊備 |
延伸練習可加分至 +5：發現可重現的系統錯誤或提出有控制的反例。LING5006 正式 A1 的配分與繳交依課程公告；本表不變更正式課程規則。
起步與報告骨架
python -m pip install -r requirements.txt
bash vendor_ranks.sh
python run_study.py
python validate.py
python build_web.py --out zh-tokenizer.html --site courses
先重現 v3，再以一個新假設改動。比較時使用相同單位的對比，不把邊際平均效果硬加成直接差異。
報告可按這個順序寫：研究問題 → 材料與排除規則 → 分母與測量 → 項目內對比 → 反例／敏感度 → 推論邊界 → 重現資訊。
原始 Markdown · 完整資料 · 測量 CSV · 計算驗證