LING5006 · W04 向量表徵 · 第四部 語言學反思4-1
第四部 · 從靜態到脈絡化
一個詞，一個向量？靜態嵌入的極限
Why static embeddings are not enough
word2vec 給每個詞型一個固定的向量。可是同一個詞，在不同句子裡意思不同。靜態向量充其量只能把它們平均起來。
「打」的每一次出現，被壓成同一個點
① 多義被抹平
如上圖。bank（河岸／銀行）、mouse 都一樣。
② 反義詞靠太近
「今天好熱」「今天好冷」：上下文幾乎相同，所以 cos(熱, 冷) 很高。分布很難分辨「相反」。
③ 沒看過的詞
訓練時沒出現的詞就沒有向量。fastText 用字的片段補救一部分（W03）。
④ 組合與語序
把詞向量加起來當句子：「狗咬人」和「人咬狗」得到同一個向量。
脈絡化嵌入：每一次出現，都重新算一個向量
ELMo、BERT、GPT 都這樣做：同一個「打」，在不同句子得到不同的向量。本週參考閱讀的 Ethayarajh（2019）檢查了這些向量，發現：越上層越依賴脈絡；而一個詞的各種脈絡化向量，只有不到 5% 的變異能用單一靜態向量解釋。
→ 通往 LLM
LLM 的第一層仍是一張靜態嵌入表（2-7 的 E）；之後每一層 Transformer 都讓每個詞「看看其他詞」再更新自己的向量。下週 W05 的注意力，就是這個更新的機制。
出處：vector25aug p.4、14、89；Ethayarajh 2019（W04 指定閱讀）4-1
LING5006 · W04 向量表徵 · 第四部 語言學反思4-2
第四部 · 本週的語言學問題
分布語意學算不算「語意」？
The status of distributional semantics
分布假說能撐起多少語意？剩下的部分是誰在扛？
它撐得起的
漸層的相似度：意義不是有或無，而是遠或近。
從語料自動學，可以隨年代、語域、社群更新。
語意場、聯想與內涵（3-1、3-2）。
可量化語意變遷與社會刻板印象（3-5）。
和人類的相似度判斷、促發效應有可觀的相關。
它撐得很吃力的
指涉與真值：知道 dog 常和 bark 一起出現，不等於能指出哪一隻是狗。
相反 vs 相似：熱和冷靠太近（4-1）。
組合、否定、量化：every、some、no 的邏輯。
關係種類被壓成一個分數（3-1）。
代表性：誰的語言被算進語料？
三種語意觀，各自照亮一塊
形式語意學意義＝指涉與真值條件擅長：邏輯、量化、組合盲點：詞彙本身只剩 DOG、LIFE
分布語意學意義＝用法與共現擅長：詞彙、相似、聯想盲點：和世界的連結
基礎化／具身語意意義＝感知與行動經驗擅長：「重」「燙」「痛」盲點：抽象詞；見 W11
本週指定閱讀 Boleda（2020）的立場大致是：分布語意學擅長意義的詞彙與概念面，形式語意學擅長邏輯與指涉面，兩者互補，而非取代。這也是最近多模態與世界模型反思的語言難以接地的問題。
系譜：結構主義的計算版
Saussure 說一個詞的「價值」來自它和系統裡其他詞的差異；Harris 把這變成分布分析。詞嵌入可以看成這條路線的延續：意義是關係，不是實體。
反方：章魚思想實驗
Bender & Koller（2020，W02 讀過）：只接觸形式的系統，學不到意義 — 因為意義涉及語言和說話者意圖、和世界的連結。
寫下你現在的答案 下課前兩分鐘：分布假說撐起了多少語意？剩下的由誰來扛？
→ 通往 LLM
LLM 讓這個問題變得尖銳：它就是把分布假說推到極致的產物。當它看起來「懂了」，我們要問的是右欄的哪幾項，它真的補上了？
依據：Boleda 2020；Bender & Koller 2020；vector25aug p.2、20–294-2
LING5006 · W04 向量表徵 · 第四部 語言學反思4-3
第四部 · 帶回家
討論、閱讀與作業銜接
Discussion, readings, and what comes next
課堂討論
1猜 ongchoi 的時候（3-2），你除了「鄰居」之外，還用了哪些知識？一個只有文字的模型有沒有這些知識？
2「熱」和「冷」在向量空間很近。這是模型的錯，還是反義詞本來就語意相近？語言學怎麼定義反義？
3用「打」造五個句子。你會怎麼替它們分詞義？你預期脈絡化向量會分成幾群？
4詞向量學到「護理師—女性」的關聯，反映的是語言、社會，還是語料？該不該「去偏」？去偏之後，還能拿它研究社會嗎？
5章魚思想實驗：只看形式能不能學到意義？當 LLM 也能看圖、也被人類回饋訓練之後，答案會變嗎？
本週閱讀
閱讀短評 150–300 字，任選一篇。
A2 語意空間探測出題 W05 · 繳交 W08
取開源模型各層表徵，設計 probing 任務，檢驗多義、同義、隱喻或詞類資訊藏在哪一層；自建至少 60 筆測試集。
本週的工具：餘弦（3-3）、多義與同義的區分（3-1）、層與脈絡化（4-1）。
課後十分鐘：在 Colab 摸一摸真的向量
import gensim.downloader as api
wv = api.load("glove-wiki-gigaword-100") # 第一次下載要等一下
wv.most_similar("cherry") # 3-3 鄰居是誰？
wv.similarity("hot", "cold") # 4-1 反義詞有多近？
wv.most_similar(positive=["king", "woman"], negative=["man"]) # 3-5 類比
試著換成你自己的詞；把讓你驚訝的結果截圖，下週可以課堂分享。
書目與作業說明取自課程大綱（cllt2026）4-3