← 課程作業區

A2 詞向量探索 從找鄰居到畫語意地圖

LING5006 大型語言模型的語言學基礎

公布：2026-10-21（W07）。截止：2026-11-04（三，W09）23:59。課堂另有公告時，以公告為準。

用 EmbeddingGemma 2 走過五個關卡：向量與相似度、語意鄰居、模型與人的相似度判斷、句子的最小對比，以及降維與分群。以 200 個華語詞彙為起點，先預測、再實驗，解釋模型與直覺不一致的案例。第三關由至少兩位組員獨立評分；結果不符合預期不扣分，重點是證據與判讀。

開始作業

• 下載學生發放包：含完整 Word 說明、學生筆記本、空白評分表與操作提醒。
• 在 Colab 開啟學生筆記本
• 單獨下載 Word 說明
• 單獨下載學生筆記本
• 下載空白評分表 ratings.csv

五個關卡

1. 向量與相似度：比較餘弦、內積與歐氏距離，確認正規化的影響。
2. 鄰居與語意場：找出「貓」「颱風」「珍奶」的鄰居，檢查反義詞為什麼也可能很接近。
3. 與人比一比：至少兩位組員獨立評定 30 個詞對的相似度，再與模型比較。
4. 從詞到句子：用 12 組最小對比診斷模型，再自行設計至少 8 組、涵蓋至少 3 種新現象。
5. 畫成地圖：比較 PCA、t-SNE 與 UMAP，檢查地圖的可信度、穩定性與分群結果。

選做：向量截短的表現變化、職業詞的性別聯想。完整要求與評分方式請見 Word 說明。

Colab 操作

1. 開啟筆記本後，先在自己的雲端硬碟儲存副本。
2. 執行安裝格；如有提示，重新啟動工作階段後再選「全部執行」。CPU 即可，首次下載模型需要網路與數分鐘。
3. 依序完成 TODO。空白版會顯示提醒並跳過未作答結果；能執行到最後不代表已完成作業。
4. 第三關請先獨立填好 ratings.csv 的 r1、r2 欄，再上傳至 Colab 左側檔案區。第三人可新增 r3；不要更動 w1、w2。使用 USE_DEMO_RATINGS = False。
5. 若出現 HF_TOKEN 存取提示，選「取消」即可；公開模型不需要密鑰。結束前下載所有成果，Colab 的暫存檔可能在工作階段結束後消失。

繳交內容

• 執行過且保留輸出的筆記本。
• 組員實際評分的 ratings.csv。
• 記錄模型、套件與設定的 execution_manifest.json。
• 4–6 頁報告：依五關分節，各以一張主要圖表與一段解釋回答問題；完整圖可放附錄。結尾整理一個最意外案例的預測、結果、解釋與待查證之處。

評分看實驗設計、計算正確性與語言學判讀，不要求模型符合直覺。示範評分僅供程式測試，不可當成真實人類評分。繳交管道依課堂公告。

本作業的學生空白版與教師解答版已於 2026-10-21 在 Colab CPU 完整執行驗證。Word 已內嵌 Noto Sans TC 字型；字型授權。