觀察者網(wǎng)·大橘財經(jīng)訊（文/一鳴 編輯/周遠方）10月23日下午，在科大訊飛“全球1024開發(fā)者節(jié)”上，科大訊飛AI研究院常務副院長劉聰發(fā)表了關于“構筑AI科技樹，煥新美好新生活”的主題演講。劉聰表示，語音識別是科大訊飛的傳統(tǒng)強項，目前其已將直播場景下復雜任務的識別效果從60%提到了85%。

科大訊飛AI研究院常務副院長劉聰

劉聰介紹，近年來，科大訊飛陸續(xù)推出了方言識別、遠場交互、多麥克風陣列等相關的功能，將語音聽寫從簡單場景的可用做到了通用；語音轉寫從原來的不好不可用，做到了演講、會議、庭審等復雜場景的好用；語音控制、命令喚醒，也從簡單場景的可用，做到了復雜場景的好用。

下一步，科大訊飛將持續(xù)深耕語音識別，去挑戰(zhàn)更加復雜的場景，去實現(xiàn)從語音到聲音，從單純的文字內容的識別，到音頻的全場景解析。例如直播場景這樣有游戲、音樂以及笑聲、掌聲等各種音效嘈雜的背景下，如何有針對性地提取想要的聲音。

“面對這種復雜的環(huán)境，科大訊飛已經(jīng)有一套全場景音頻解析的整體方案。目前，我們在直播場景下一個很復雜任務上的識別效果，已經(jīng)從60%提到了85%，”他表示未來相關技術會在訊飛開放平臺和訊飛聽見上線。

以下是劉聰演講節(jié)選：

我們知道語音識別是訊飛的傳統(tǒng)強項，從早期的呼叫導航到2010年我們發(fā)布了訊飛超腦語音云和輸入法，開啟了中文語音輸入的時代；通過深度學習框架持續(xù)的迭代效果，接下來我們又陸續(xù)推出了方言識別、原廠交互、多麥克風陣列等相關的能力；2015年我們又將人機交互的場景拓展到人人對話的場景。

整體來說，我們總結出三點，我們將語音聽寫從簡單場景的可用，做到了通用；語音轉寫從原來的不好不可用，做到了演講、會議、庭審等復雜場景的好用；語音控制、命令喚醒，也從簡單場景的可用，做到了復雜場景的好用。

那隨著現(xiàn)在語音識別在更多場景的應用。我們要想一下，語音識別下一步發(fā)展的方向是什么？又有哪些技術可以從實驗室場景走向成熟，還有哪些價值值得我們發(fā)掘？

首先我們認為語音識別需要持續(xù)的去挑戰(zhàn)更加復雜的場景，去實現(xiàn)從語音到聲音，從單純的文字內容的識別，到音頻的全場景解析。例如現(xiàn)在我們在泛娛樂當中，我們可以看到直播短視頻有很多更加復雜的聲音現(xiàn)象，需要我們去解決。例如在直播的過程當中，背景可能是復雜多樣的，可能有視頻聲、游戲聲或者音樂聲。此外直播連麥的時候還會經(jīng)常出現(xiàn)多人混疊的對話，這些對我們的語音識別都會有很大的影響。除此之外，這些視頻當中還會包含像笑聲、掌聲、各種音效這樣一些其他的聲音現(xiàn)象。

針對這樣一個場景，我們一方面需要降低各種背景的噪聲對識別精度的影響。另外一方面，要有針對性的將我們感興趣的聲音提取出來。這里我們展示了全場景音頻解析的整體方案。首先我們通過多分辨率特征提取的聲音檢測方案，再結合我們的序列訓練，對一些相似聲音進行精細建模，可以實現(xiàn)將笑聲、音效等非語音的聲音和語音內容分離。

針對包含語音的有效內容，我們也使用了語音降噪和分離的方案，綜合利用我們的聲音、文本、說話等信息，以及在有條件的情況下，還可以使用多模態(tài)的唇形、視線以及麥克風陣列的空間位置等信息來進行聯(lián)合建模。

這些例子都是我們的真實算法、針對真實數(shù)據(jù)的一個結果。我們的算法針對這樣的復雜音頻，有了一個很好的處理效果，可以有針對性的提取出更多層次。目前，我們在直播場景下一個復雜任務上的識別效果，已經(jīng)從60%提到了85%，未來我們相關的技術也會在我們的開放平臺、訊飛聽見等上線。

語音合成

接下來我們來看一下語音合成。我們知道語音合成一般是以自然通報分來作為評價指標的，其中5分是滿分播音員的水平，4分是普通發(fā)音人的水平。過去我們是在中英文上，包括冰波形拼接、包括參數(shù)合成的方法上達到了普通發(fā)音人水平。

近年來，伴隨著深度學習的加持，我們提出了基于聽感量化的多人混合訓練等合成框架，并進一步在向配音合成，然后對話合成等更有表現(xiàn)力的場景，做到了接近4.5分的水平。

合成技術也在持續(xù)進步，合成的一些領域，風格也是從單一向多元化發(fā)展。那么問題又來了，當我們的合成自然度已經(jīng)越來越接近真人水平的時候，合成還能有哪些令人驚喜的提升呢？合成下一步發(fā)展方向又是什么？

我們要先想一下，為什么像短視頻有聲書這樣的內容非常吸引人，因為它不僅僅是單純的從文本找語音的生成，而是基于我們的文本、聲音、畫面等基本的素材，實現(xiàn)了全方位的包裝。例如，我們的語音當中會包含角色演繹、情感切換的內容在配合上背景的音樂，各種音效，從而形成了這樣一個非常生動活潑的內容。

像我們的語音合成的發(fā)展方向，同樣不能只以單純的追求自然度MOS分為目標，而是要追求用戶可以感知的，同時技術可以實現(xiàn)的更高表現(xiàn)力的呈現(xiàn)。這里我們也可以通過從文本內容當中挖掘到角色、情感等更深層的信息。通過剛才說的音樂音效等聽感的提升，以及我們多模態(tài)這樣更具表現(xiàn)力的呈現(xiàn)來實現(xiàn)。

對應于語音識別的全場景音頻解析，我們認為語音合成也需要實現(xiàn)從語音到聲音的全場景音頻合成。去年1024發(fā)布會上，我們在車載場景下使用我們的環(huán)繞音效，提升了用戶聽感的效果。今年我們又進一步進行了拓展，一方面，我們可以基于自然語言理解技術，從文本當中分析到合適的情感焦點以及我們角色相關的信息，并通過語音呈現(xiàn)出來，進一步結合我們針對一些特殊情況打造的背景音樂，從而呈現(xiàn)出一場全局的音頻、全場的一個合成。這里我們也是以一個交互場景為例子，來看一下我們這樣一個聽感提升的效果，請放視頻。

我們可以看到在這個例子當中，一方面它通過對內容的理解，實現(xiàn)一人分飾多角和情感的變化。另外一方面它能通過對場景的理解，當知道用戶累的時候，可以主動的去推送這樣一些舒緩的音樂和音效。這一解決方案除了在交互場景，在小說合成、配音合成等場景也大有可為。

另外我們知道情感的表達、合成和預測也是我們語音合成當中的一個重要的方向，也是業(yè)界的研究熱點。但是現(xiàn)在我們看到業(yè)界的情感語音合成一般是輸入一句文本，并指定一種情感，然后輸出一段飽含情感的語音。

但我們想一下，在人與人溝通過程當中，其實情感的表達并不是這么全局化、單一化的，而是有一些細微的變化情況。我們的機器合成常被人們詬病，說這個聲音沒有人情味的一個表現(xiàn)。

針對這樣一個問題，我們也是從單一的情感合成升級到面向交互場景的這樣一個微情緒合成的方案。該方案也是基于我們剛才說的，通過聽感量化的編碼，來對我們多種情感進行組合式編碼，以實現(xiàn)我們對局部一些情感的準確的預測和控制。在有了這樣一個方案之后，我們再結合情緒識別等其他的方案，就可以在交互當中體現(xiàn)出一些細微的情感變化，讓我們的用戶用不同的語氣說話的時候，可以得到一些不同的反饋，讓我們整個的交互過程變得更加有趣，更加有人情味。

虛擬形象

接下來我們來看一下多模態(tài)合成，也就是虛擬形象。我們在去年發(fā)布了全球首個多語種虛擬主播小晴，大家也非常熟悉了。今年我們也是陸續(xù)發(fā)布了更多的虛擬主播，并在多家媒體使用。

今年我們?yōu)樾∏邕M一步研發(fā)了表情生成、動作生成等技術，同時結合我們生活化場景的設計進一步的優(yōu)化，讓我們的小晴具備了交互的能力。當我們虛擬形象具備更好的交互能力之后，再結合我們在一些場景的靜態(tài)和動態(tài)內容的嵌入，我們就有可能形成一些更加有意思的現(xiàn)象。

例如我們在學習機里面，基于我們的虛擬形象技術、結合我們的語音評測等技術，我們設計了一個可以實時互動的英文主播的教學，讓整個英文的教學變得特別有趣。我們也來看一下演示的視頻。這里面所有的內容都是合成出來的。未來我們也非常歡迎各位合作伙伴可以想一下在我們各自場景有沒有什么樣的需求，可以用我們的這樣一些虛擬形象的技術，讓大家在一些場景當中交互變得更加有意思。