持續(xù)突破語(yǔ)音壁壘 火山語(yǔ)音團(tuán)隊(duì) 2023-08-29 18:22 發(fā)表于北京

(相關(guān)資料圖)

火山引擎語(yǔ)音合成版本正式發(fā)布，能力再升級(jí)！ 這是一段由真人和TTS組成的錄音，你能聽(tīng)出哪部分是真人、哪部分是合成嗎？

真人VS PS2 ,火山語(yǔ)音團(tuán)隊(duì),7秒

（點(diǎn)擊下方閱讀原文按鈕，體驗(yàn)更多合成效果！）

版本采用火山語(yǔ)音團(tuán)隊(duì)全新自研的語(yǔ)音合成模型 PortaSpeech 2 （下文簡(jiǎn)稱(chēng)：PS2），由當(dāng)下流行的基礎(chǔ)模型架構(gòu) PortaSpeech原班人馬打造。為滿(mǎn)足各種業(yè)務(wù)場(chǎng)景和客戶(hù)需求，PS2 在第一代模型的基礎(chǔ)上，著重對(duì) 音質(zhì)韻律 、 多情感 、 端云能力 以及 克隆 等進(jìn)行了大規(guī)模升級(jí)。經(jīng)評(píng)測(cè)， PS2合成效果與真人錄音相似度高達(dá)% ，其中 離線(xiàn)合成不僅支持多情感多風(fēng)格，品質(zhì)也與在線(xiàn)合成呈現(xiàn)出高度一致性。

圖1：社區(qū)開(kāi)源版 PortaSpeech

離線(xiàn)合成是指用戶(hù)在無(wú)網(wǎng)狀態(tài)下通過(guò)本地設(shè)備實(shí)時(shí)進(jìn)行語(yǔ)音合成，具備實(shí)時(shí)性和隱私保護(hù)的優(yōu)勢(shì)，雖然這種離線(xiàn)方式消除了對(duì)網(wǎng)絡(luò)連接的依賴(lài)，用戶(hù)可以在任何時(shí)間、任何地點(diǎn)進(jìn)行合成，但往往很難與在線(xiàn)合成相媲美。經(jīng)過(guò)深入的訓(xùn)練與優(yōu)化， PS2 打破傳統(tǒng)的單一化低品質(zhì)的離線(xiàn)效果，具備了與在線(xiàn)合成的品質(zhì)并具有多情感、多風(fēng)格能力， 讓用戶(hù)在無(wú)網(wǎng)、弱網(wǎng)狀態(tài)下也能夠享受到極致的語(yǔ)音合成體驗(yàn)。

作為業(yè)界首個(gè)支持多情感多風(fēng)格的端云一體模型，PS2的端云側(cè)同時(shí)兼具“三高”，即高品質(zhì)、高一致和高性能。 PS2端側(cè)能支持的情感、風(fēng)格范圍非常廣泛，包括但不限于開(kāi)心、悲傷、愉悅、抱歉、撒嬌、鼓勵(lì)等。

此外基于端云一體的架構(gòu)設(shè)計(jì)和生成式蒸餾的訓(xùn)推策略， PS2的端云側(cè)可同時(shí)兼具高質(zhì)量和音質(zhì)一致性，實(shí)現(xiàn)用戶(hù)在端側(cè)和云側(cè)之間切換時(shí)幾乎無(wú)感知； 并且從各維度充分考慮了用戶(hù)在不同場(chǎng)景下的需求，確保了端到云的效果在各個(gè)環(huán)節(jié)都能夠保持高度一致。實(shí)際使用中，會(huì)根據(jù)用戶(hù)的操作和網(wǎng)絡(luò)狀態(tài)選擇最優(yōu)模型進(jìn)行語(yǔ)音合成，保障用戶(hù)在任何環(huán)境下都能享受到流暢的語(yǔ)音合成體驗(yàn)。

為了最大程度提升PS2在資源利用率和性能方面的成績(jī)，為用戶(hù)帶來(lái)更為穩(wěn)定和高效的使用體驗(yàn)，火山語(yǔ)音團(tuán)隊(duì)在訓(xùn)練階段，針對(duì)不同模型特點(diǎn)采用 Int8 和 fp16 量化訓(xùn)練，有效降低模型占用空間并為將來(lái)在多種硬件設(shè)備上提供高速推理能力奠定基礎(chǔ)；在推理階段，支持流式推理以降低處理首批數(shù)據(jù)時(shí)的延遲，提升系統(tǒng)響應(yīng)速度和實(shí)時(shí)性，為用戶(hù)帶來(lái)更流暢的體驗(yàn)。性能評(píng)測(cè)如下表：

除了多重技術(shù)方向的創(chuàng)新升級(jí)之外，新晉的PS2模型在云端應(yīng)用中也展現(xiàn)出了高品質(zhì)的語(yǔ)音合成能力以及效果。無(wú)論是與真人錄音相比較，還是與其他語(yǔ)音合成模型進(jìn)行對(duì)比，PS2在各類(lèi)場(chǎng)景中均有驚艷表現(xiàn)。任意文本內(nèi)容都可以穩(wěn)定合成出媲美真人錄音的效果，一起來(lái)感知PS2合成的魅力吧！

火山語(yǔ)音團(tuán)隊(duì)是如何實(shí)現(xiàn)如此驚艷的效果？

「模型結(jié)構(gòu)升級(jí)」模型結(jié)構(gòu)方面，PS2引入了全新的中間聲學(xué)表征、聲學(xué)模型和聲碼器。 相較于從前，PS2根據(jù)語(yǔ)音數(shù)據(jù)本身的特點(diǎn)，使用了更加精細(xì)的聲學(xué)特征HiFiSpec?？梢詷O大保留訓(xùn)練數(shù)據(jù)的音高、音頻等細(xì)節(jié)信息，提高模型在音質(zhì)和韻律的生成上限，使生成的語(yǔ)音音質(zhì)更加清亮、飽滿(mǎn)和穩(wěn)定。

具體來(lái)說(shuō)，PS2的聲學(xué)模型根據(jù)HiFiSpec數(shù)據(jù)本身的特點(diǎn)，設(shè)計(jì)了兼具長(zhǎng)短時(shí)依賴(lài)的編解碼器，引入了基于隱韻律表征預(yù)測(cè)的對(duì)抗生成式神經(jīng)網(wǎng)絡(luò)；同時(shí)使用蒙特卡洛采樣對(duì)隱韻律表征分布進(jìn)行高精度和高效近似，允許其最大程度還原HiFiSpec的真實(shí)分布和多樣性，使合成的語(yǔ)音更接近自然狀態(tài)下的人類(lèi)聲音。聲碼器方面，PS2優(yōu)化了音頻波形分布擬合目標(biāo)，同時(shí)借助HiFiSpec的高表達(dá)性，重現(xiàn)極致音色和音質(zhì)效果。

圖2：火山語(yǔ)音新一代 PortaSpeech 2 模型框架圖

「訓(xùn)推范式升級(jí)」訓(xùn)推范式方面，PS2推翻了以往語(yǔ)音合成模型預(yù)訓(xùn)練和微調(diào)的傳統(tǒng)范式，轉(zhuǎn)而采用新型自研教師-學(xué)生模型訓(xùn)練范式。 為了更好地?cái)M合真實(shí)的語(yǔ)音分布，PS2的教師模型會(huì)自動(dòng)根據(jù)不同業(yè)務(wù)場(chǎng)景特性，動(dòng)態(tài)結(jié)合類(lèi)似GPT的上下文學(xué)習(xí)（In-context learning）和微調(diào)學(xué)習(xí)（finetuning）方法，快速完成新音色、場(chǎng)景和情感的訓(xùn)練。

為了實(shí)現(xiàn)極致的模型性能和尺寸，PS2還進(jìn)一步提出了一種名為“生成式蒸餾”的方案。 即完成訓(xùn)練的教師模型會(huì)將它學(xué)到的語(yǔ)音數(shù)據(jù)分布通過(guò)分布形狀規(guī)整和長(zhǎng)尾裁剪等方式，將最適用具體業(yè)務(wù)場(chǎng)景的語(yǔ)音分布傳授給學(xué)生模型，從而允許學(xué)生模型在極小的模型參數(shù)下，生成的語(yǔ)音質(zhì)量和韻律幾乎與教師模型無(wú)異。此外，學(xué)生模型還可以完美繼承教師模型的諸多能力，包括多語(yǔ)言和多情感等，可以勝任各種端上和端云混合場(chǎng)景。訓(xùn)練數(shù)據(jù)方面，除了火山語(yǔ)音內(nèi)部錄制的大量精品數(shù)據(jù)以外，PS2還使用萬(wàn)小時(shí)以上私有版權(quán)語(yǔ)音數(shù)據(jù)，借助高效先進(jìn)的模型架構(gòu)和訓(xùn)推范式，可以在僅有少量數(shù)據(jù)下實(shí)現(xiàn)表現(xiàn)力、情感和音色的遷移，滿(mǎn)足絕大多數(shù)場(chǎng)景需求。

圖3：生成式“教師-學(xué)生”模型蒸餾

火山語(yǔ)音團(tuán)隊(duì)正不斷將打磨多年的語(yǔ)音技術(shù)能力面向市場(chǎng)并通過(guò)火山引擎開(kāi)放給外部企業(yè)，已覆蓋汽車(chē)、金融、有聲閱讀、視頻配音等眾多應(yīng)用場(chǎng)景，技術(shù)能力已成功應(yīng)用到抖音、剪映、番茄小說(shuō)等多款國(guó)民級(jí)產(chǎn)品上，并助力多家行業(yè)頭部企業(yè)實(shí)現(xiàn)AI語(yǔ)音能力的應(yīng)用與拓展。未來(lái)火山語(yǔ)音還將不斷探索前沿科技與業(yè)務(wù)場(chǎng)景的高效結(jié)合，持續(xù)為用戶(hù)體驗(yàn)和業(yè)務(wù)增長(zhǎng)注入創(chuàng)新勢(shì)能，以實(shí)現(xiàn)更大價(jià)值。

—END—

關(guān)鍵詞：