Speech LLM
從聲音到意義

什麼是 Speech LLM？

Speech LLM 是語音技術與大型語言模型匯流的一類系統。它以語言模型為重要核心，接收語音、理解內容，並視架構支援文字或語音輸出。這個名稱涵蓋多種設計，並不是一個已經統一的技術規格。

傳統語音助理通常先用自動語音辨識（ASR）把聲音轉成文字，再交由文字模型處理，最後以語音合成（TTS）讀出答案。新一代研究則嘗試讓模型直接利用語音的向量或離散單位，使語言內容、說話方式與對話時序有機會一起進入計算。

這個問題不等於「完全排除文字」。大量系統仍承接文字 LLM 的知識，並可能在內部產生文字、以文字監督訓練，或使用獨立的音訊生成模組。能直接輸入與輸出語音，不足以證明模型內部完全以語音推理。

Spoken Language Model（SLM）的涵義通常更廣，也包括直接學習語音單位序列分布、不以文字 LLM 為起點的模型。Audio-Language Model則常涵蓋環境聲與音樂等更廣的音訊。這些名稱在文獻中有重疊，閱讀時應優先查看輸入、輸出、訓練目標及架構，而不是單看名稱。[1]

這些層次彼此交織，並不是四個可以完全拆開的訊號通道。

語音如何進入語言模型？

理解 Speech LLM，最有效的方法是問：聲音在哪一步轉成文字？哪些資訊仍能往後傳遞？一篇 ACL Findings 2025 綜述將整合方法分成文字式、潛在表徵式與音訊 token 式三條路線；實際系統也可能混合使用。[2]

從辨識聲音，到在聲音中互動

這不是新模型依序淘汰舊模型的單線故事，而是三種能力逐漸匯合：從語音學表徵、借用文字模型的知識，以及在時間中生成回應。以下以代表工作首次公開的年份為主；正式會議或期刊發表可能較晚。

語音一定要先變成 token 嗎？

不一定。原始聲波雖然是連續訊號，但數位錄音已經經過取樣；模型可以先將波形或時頻特徵轉成連續向量，再交給語言模型。Transformer 需要可計算的向量序列，並不要求每個輸入都必須先變成離散 token ID。

連續向量：保留訊息，也需要有效對齊

wav2vec 2.0、HuBERT、Whisper 的編碼器都能提供向量表徵，但訓練目標並不相同。將這些向量接到 LLM，通常還需要投影、時間下採樣或其他介面。模型接收到聲學細節，與它實際運用這些細節，是兩件需要分別驗證的事。

離散單位：內容與聲音細節的取捨

量化器（quantizer）把向量對應到有限碼本中的項目；神經音訊編解碼器（neural audio codec）則把聲音壓縮成可解碼重建的表示。語言模型可以預測這些單位，再由解碼器還原波形。最基本的自回歸目標可寫成：

此式說明序列分解原理。多碼本、交錯序列與多串流模型可能採用更複雜的因子分解，不必逐一把所有聲學碼都平鋪成同一條序列。

AudioLM 便利用不同種類的離散表示兼顧長程結構與聲音重建。[7] 對語言學而言，核心問題是：模型的單位與音素、音節、詞素或構式究竟如何對應？量化創造了離散性，卻沒有自動創造語言學上的單位。

從會編碼聲音，到會依指令回應

會學語音表示，不等於已經會對話。從基礎模型到可用系統，常見工作可分成以下幾層；它們是理解訓練的概念框架，不代表所有模型都依相同順序完成。

SpeechGPT 的跨模態訓練是這類分階段設計的一個例子。[8] 若使用合成語音擴充資料，雖可增加規模與控制性，卻未必涵蓋自然對話中的猶疑、重疊、口誤與細微情緒；因此，訓練資料的「像口語」程度本身就是值得檢驗的變項。

真正的對話，不是輪流播放錄音

人類對話包含尚未說完就被理解的句子、短促的「嗯」、中途更正，以及重疊發話。對語音代理而言，內容生成只是其中一部分；何時開始、何時停下、是否需要附和，也會改變互動意義。

串流（streaming）表示不必等整段資料完成才處理或輸出；全雙工（full-duplex）則表示輸入與輸出能同時進行。兩者相關但不相同。串接式 ASR–LLM–TTS 系統也能串流、也能透過外部控制器支援打斷；相對地，端到端模型也不必然已學會恰當的話輪管理。

Moshi 將使用者與系統語音流一起建模，並引入伴隨生成的文字流，是研究全雙工的一個代表。[11] 評估時應分開看首段延遲、穩定串流能力、被打斷後的停說時間，以及插話是否合宜，不能用單一「毫秒數」概括全部表現。

六項值得持續追問的研究議題

02 · PROSODY AND PRAGMATICS

韻律如何參與意義，而不只標記情緒？

重音可以改變對比焦點，停頓可以改變分組，語調與情境則共同影響反諷、質疑或禮貌解讀。把語音分類成「高興／生氣／悲傷」，距離理解說話者的立場與言語行為，仍有相當距離。

互動圖 4｜文字相同，解讀可能不同

稱讚情境反諷情境驚訝情境

對方完成困難任務；「你真厲害」較容易被理解為稱讚。

曲線為手繪的相對音高示意，不是自然語音量測，也未完整表現華語聲調、時長或強度。反諷沒有唯一的音高輪廓；不能只憑一條曲線判定意圖。

S2S-Arena 直接在語音模態比較語意理解與副語言表達，提醒我們：生成內容正確與表達方式合宜，需要分開評估。[15]

三個可從語言學出發的研究方向

語言學最能提供的貢獻，不只是多加一批測試句，而是界定模型究竟應該區分什麼、在哪些條件下區分，以及何種結果足以支持我們的解釋。

A. Are Speech Tokens Linguistic Units?

比較離散單位與音素、音節、詞素邊界的對齊，並觀察同一單位是否跨說話者、語速及語境保持一致。對齊分數之外，還應以內容理解與語音重建作為功能檢查：對齊更好，是否真的帶來更好的語言處理？這可形成「語言學導向的語音單位」研究，而不是把模型分群結果重新命名為音素。

B. Prosody as Meaning: Beyond Text-based Semantics

以臺灣華語建立文字相同、韻律不同的最小對比資料，從對比焦點或可控制的問句語調開始，再逐步加入反諷與禮貌。先讓母語者確認對比是否可靠；有歧見的項目可以保留為分布式標註，不必硬壓成唯一答案。

優先選用同一多模態模型的文字與語音入口，以減少模型能力不同的混淆；若另加文字 LLM，則視為補充基線。可採自然錄音與受控再合成互相驗證，平衡控制性與自然度。分析應考慮說話者及句項差異，並分開報告人類一致性、模型正確率與成對判斷變化。

C. Speech-grounded Semantics and Causal Tests

比較同一內容在文字、中性語音與帶韻律語音下的模型表徵。先以探測定位相關層次，再對聲學線索或內部活化做受控介入，例如 activation patching，檢查改變表徵是否改變目標判斷。介入也可能造成分布外擾動，因此需要無關位置、無關特徵及反向替換等控制，避免將模型受損誤認為成功定位語意機制。

Speech LLM 為當代語言學提供的機會，是把聲音、韻律、語用與意義放進同一個可計算、可介入、可檢驗的系統。它也提醒我們：意義不只是詞彙與句法組合後的產物，也在時間、聲音與互動之中逐步形成。

文獻與延伸閱讀

入門可先讀 [1]、[2]、[3] 三篇綜述，再依興趣閱讀 Moshi、Qwen3-Omni 與評估論文。模型技術報告中的效能宣稱，應與獨立、同條件的評測分開看待。本導讀沒有將任何模型宣稱的延遲視為通用實測值。

1. Arora et al. (2025; arXiv 2026 修訂). On the Landscape of Spoken Language Models: A Comprehensive Survey.TMLR。模型範圍、架構、訓練與評估的整體地圖。
2. Yang et al. (2025). When Large Language Models Meet Speech: A Survey on Integration Approaches.Findings of ACL。本文三條整合路線的分類來源。
3. Cui et al. (2025). Recent Advances in Speech Language Models: A Survey.ACL。語音單位、模型、生成與評估的技術導讀。
4. Baevski et al. (2020). wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations.NeurIPS。理解自監督語音表徵的起點。
5. Hsu et al. (2021). HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units.以分群目標與遮蔽預測學習語音表徵。
6. Radford et al. (2022 預印本；2023 ICML). Robust Speech Recognition via Large-Scale Weak Supervision.Whisper。大規模弱監督辨識與跨資料泛化。
7. Borsos et al. (2022 預印本；2023 期刊). AudioLM: A Language Modeling Approach to Audio Generation.混合語音單位與音訊序列生成。
8. Zhang et al. (2023). SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities.離散語音與跨模態指令訓練。
9. Rubenstein et al. (2023). AudioPaLM: A Large Language Model That Can Speak and Listen.結合語音與文字模型。
10. Tang et al. (2023 預印本；2024 ICLR). SALMONN: Towards Generic Hearing Abilities for Large Language Models.連續音訊表徵與廣義聽覺理解。
11. Défossez et al. (2024). Moshi: A Speech-Text Foundation Model for Real-Time Dialogue.多串流、文字輔助與全雙工對話。
12. Xu et al. (2025). Qwen3-Omni Technical Report.Thinker–Talker 多模態架構；模型作者的技術報告。
13. Wang et al. (2025 預印本；2026 ICLR). MMSU: A Massive Multi-task Spoken Language Understanding and Reasoning Benchmark.47 項任務、5,000 組音訊問答；以語言學現象檢驗細緻理解。
14. Li et al. (2025 預印本；2026 AAAI). HPSU: A Benchmark for Human-Level Perception in Real-World Spoken Speech Understanding.超過 20,000 筆英語與華語樣本；隱含意圖與情緒等理解任務。
15. Jiang et al. (2026). S2S-Arena: Evaluating Paralinguistic Instruction Following in Speech-to-Speech Models.直接在語音模態評估語意與副語言表達。