VibeVoice:微軟開源語音 AI 家族,一次轉錄 60 分鐘還分得出誰在說話——以及一段被濫用而下架的歷史
本內容僅供參考,詳細使用規則與工具安全性與否,建議要進行相關安全性測試與評估
前天介紹的 Handy 讓你用聲音「輸入」;今天的 VibeVoice(microsoft/VibeVoice)則是一整個語音 AI 家族——既能「聽」(語音辨識),也能「說」(語音合成)。它在 11 月 6 日的 AI 開源趨勢報告中被列為開源語音 AI 的焦點專案,目前約 56.7k stars。但這個專案最值得一談的,除了技術,還有一段罕見的歷史:它的長篇語音合成功能,因為被廣泛濫用而被微軟自己下架。
1. 專案背景與定位
VibeVoice 採 MIT 授權,官方描述是「一個開源的前沿語音 AI 模型家族,包含文字轉語音(TTS)與自動語音辨識(ASR)模型」。它的發展時間軸很能說明開源 AI 的現實:
- 2025 年 8 月:VibeVoice-TTS 開源,可生成長達 90 分鐘、最多 4 位講者的語音,論文後來獲 ICLR 2026 Oral 接受。
- 2025 年 9 月:微軟發現工具被以「不符合預期用途」的方式使用,移除了 TTS 的程式碼。
- 2025 年 12 月:開源單一講者的即時 TTS 模型 VibeVoice-Realtime-0.5B。
- 2026 年 1 月:開源 VibeVoice-ASR,之後陸續整合進 Transformers 與 Azure AI Foundry Labs。
- 2026 年 7 月:VibeVoice-ASR-BitNet 釋出,可在 CPU 上執行(搭配 VibeASR.cpp)。
- 2026 年 9 月:VibeVoice-ASR-Streaming 釋出,支援 10 種語言的串流辨識。
截至撰文時,長篇 TTS 模型的權重連結仍在,但安裝與使用說明標示為「因廣泛濫用而停用」。
2. 技術架構與核心設計
- VibeVoice-ASR(7B):
- 單次處理長達 60 分鐘的音訊(64K token 以內)
- 一次同時完成轉錄、講者辨識(誰在說話)與時間戳——也就是「Who/When/What」
- 支援超過 50 種語言,不需指定語言,可處理中英夾雜等語碼轉換
- 支援自訂熱詞(專有名詞、產品名),並提供 LoRA 微調程式碼與 vLLM 支援
- VibeVoice-ASR-BitNet:把模型從 4.62GB 壓到 1.58GB,在 3 個以上的 CPU 執行緒就能達到即時(RTF < 1)——這正是月中介紹過的 BitNet 技術的實際應用。
- VibeVoice-Realtime-0.5B:單一講者的串流 TTS,首音延遲約 200–300 毫秒(依硬體而定),可生成約 10 分鐘的語音;英文為主,另有 9 種實驗性語言。為降低 deepfake 風險,講者的聲音提示以嵌入格式提供,而不是讓使用者任意上傳聲音來複製。
- 共同架構:以 Qwen2.5 為 LLM 骨幹,搭配 7.5 Hz 的連續語音 tokenizer 與擴散(diffusion)解碼頭,採「下一個 token 擴散」的生成方式。
3. 社群熱度與生態採用
約 56.7k stars、6.4k forks。ASR 的評測數據相當完整:在 MLC-Challenge 多語言會議資料上,平均講者分段錯誤率(DER)3.42、WER 12.07;英文 WER 7.99、西班牙文 8.04;中文的 AISHELL-4 WER 為 21.40、AliMeeting 為 27.40。即時 TTS 在 LibriSpeech test-clean 上的 WER 為 2.00、講者相似度 0.695。整合進 Hugging Face Transformers 與 Azure AI Foundry,也代表它已進入主流工具鏈。
4. 局限性與潛在風險
- 語音合成是 deepfake 的核心技術:VibeVoice 的經歷證明這不是假設性的風險。README 警告其可能被用於冒充與散布不實資訊,並強調分享 AI 生成內容時應揭露使用了 AI,且必須遵守所有適用法律。
- 官方定位為研究用途:README 明確表示「不建議在未經進一步測試與開發的情況下用於商業或真實世界的應用」。
- ASR 的隱私問題:會議錄音、訪談、客服通話都屬於高度敏感資料,轉錄與講者辨識前應取得當事人同意;能分辨「誰說了什麼」的能力,同時也提高了監控與濫用的風險。
- 中文表現較弱:中文會議資料的錯誤率明顯高於英文;TTS 文件也提到中文發音不穩定,有時會自行出現背景音樂。
- 硬體需求:7B ASR 模型建議使用 NVIDIA 的 PyTorch 容器與 GPU;沒有 GPU 時可考慮 BitNet 版本。
- 即時 TTS 的限制:只支援單一講者,不適合朗讀程式碼、公式或特殊符號,極短的輸入(三個字以內)可能不穩定。
- 偏誤:模型繼承了基礎模型的偏誤,輸出可能不準確或帶有偏見。
5. 應用價值與適用場景
ASR 是目前最實用的部分:會議記錄(自動分出每位與會者的發言)、訪談與 Podcast 逐字稿、客服通話分析、多語言影片字幕。60 分鐘單次處理加上講者辨識,省去了傳統流程中「先轉錄、再分段、再標講者」的多個步驟。BitNet 版本則讓這些能力可以在一般筆電上離線執行,對處理敏感錄音特別有價值。即時 TTS 適合語音助理與無障礙朗讀等需要低延遲的情境。
Monday 的觀點與架構建議
- VibeVoice 的下架事件是開源 AI 史上很值得記住的一課:「能力越強,越需要在發佈前就設計好防護」。之後的即時 TTS 改用嵌入式的聲音提示、不開放任意聲音複製,就是吸取教訓後的設計調整。
- 對開發者來說,ASR 的價值遠高於 TTS:辨識是「理解」,合成是「生成」,前者的濫用風險相對低,商業價值卻很直接。
- 導入建議:會議與通話轉錄前取得同意並告知;敏感錄音優先使用本機(BitNet)版本;AI 生成的語音一律標示;把轉錄結果當作草稿,重要內容由人工校對。
- 從 BitNet 技術落地到 VibeVoice-ASR-BitNet,可以看到微軟正在把研究成果串成一條完整的路線:更小的模型、更低的硬體門檻、更多在本機執行的 AI。
參考來源
- GitHub:microsoft/VibeVoice
- 專案頁面:microsoft.github.io/VibeVoice
- AI 開源趨勢日報:agents-radar 2026-11-06
- 相關文章:BitNet:微軟 1-bit LLM 推論框架
Friday