北京冬奧會(huì)上，長寧企業(yè)科大訊飛量身打造了《冰冰帶你說冬奧》專屬H5，推出的“3D虛擬冰冰”，因?yàn)榭崴蒲胍曋鞑ネ醣�冰的眉眼和神韻，解鎖了多達(dá)31種語言技能，迅速捕獲了眾多網(wǎng)友的心。

據(jù)了解，科大訊飛從央視C+MG動(dòng)漫工作室得到王冰冰的卡通原畫形象，再通過語音合成、語音識(shí)別、3D虛擬人肢體動(dòng)作控制、AI口唇表情合成等多項(xiàng)人工智能技術(shù)，打造了一個(gè)總臺(tái)記者王冰冰的虛擬形象。

原來，科大訊飛2021年率先發(fā)起了虛擬人交互平臺(tái)1.0，這個(gè)平臺(tái)具有“多模感知、情感貫穿、多維表達(dá)、自主定制”的特點(diǎn)。其中虛擬人發(fā)聲的語音合成技術(shù)是科大訊飛語音合成團(tuán)隊(duì)10多年來一直在多語種合成領(lǐng)域默默耕耘，創(chuàng)造出來的成果。

團(tuán)隊(duì)在語音合成發(fā)展最快的兩年時(shí)間里，快速、高效地完成了全球60個(gè)主要語種的合成研發(fā)，其中37個(gè)語種達(dá)到了與國際一流廠商并跑或者領(lǐng)跑的水平。

而這技術(shù)領(lǐng)跑的背后，是團(tuán)隊(duì)經(jīng)歷國際技術(shù)壁壘的壓力。2019年1月科大訊飛進(jìn)入美國實(shí)體清單后，為了打破技術(shù)壁壘，公司開始全面布局多語種，當(dāng)時(shí)給他們語音合成團(tuán)隊(duì)定的初步目標(biāo)是兩年內(nèi)完成37個(gè)語種的覆蓋，并且效果對(duì)標(biāo)國際最好的互聯(lián)網(wǎng)巨頭。“說實(shí)話，當(dāng)時(shí)接到這個(gè)任務(wù)的時(shí)候，很有壓力，同時(shí)也有信心把這個(gè)工作做好。”團(tuán)隊(duì)負(fù)責(zé)人高麗說道。

團(tuán)隊(duì)的壓力來自于沒有數(shù)據(jù)積累，同時(shí)小語種缺少語言專家的支持。對(duì)于合成來說，每個(gè)語言都需要找到專業(yè)且有聲音特色的母語者，用專業(yè)的錄音設(shè)備錄制20小時(shí)以上的高品質(zhì)音庫。

“但是我們當(dāng)時(shí)沒有任何可以提供高品質(zhì)發(fā)音人的錄音渠道，團(tuán)隊(duì)規(guī)模也只有10人左右；新冠疫情的爆發(fā)，特別是國外疫情的持續(xù)，給我們數(shù)據(jù)的跨國采集以及尋找專家資源的支持，都帶來了非常大的難度。同時(shí)基于我們當(dāng)時(shí)的技術(shù)方案，兩年內(nèi)完成37個(gè)語種的國際并跑，是不可能的事情。”高麗介紹說。

于是，高麗的團(tuán)隊(duì)分成兩步開展工作，一方面通過各種渠道進(jìn)行發(fā)音人的拓展，截至目前團(tuán)隊(duì)已經(jīng)累積了全球100多個(gè)發(fā)音人渠道；另一方面成立緊急研究攻關(guān)小組，研發(fā)了一套通用性強(qiáng)、穩(wěn)健的新一代語音合成系統(tǒng)�！按送�，因?yàn)楹芏嗾Z種沒有一套比較完善的語言學(xué)理論作為基礎(chǔ)，多語種合成難度相比中英文合成要大很多。所以，我們團(tuán)隊(duì)很多時(shí)候是在探索和研究語言學(xué)和工程學(xué)的高效融合。”高麗表示。

團(tuán)隊(duì)經(jīng)過10年的積累，最終擁有屬于自己的一套技術(shù)方法，且達(dá)到商用級(jí)別，目前已經(jīng)應(yīng)用到了手機(jī)、車載、翻譯機(jī)、掃描筆等終端設(shè)備上。

“我們要始終保持一個(gè)開放、自省的心態(tài)，不斷地吸收新鮮血液，給團(tuán)隊(duì)帶來更多可能，同時(shí)我們要始終堅(jiān)持‘用正確的方法做有用的研究’，這樣你的需求在不斷拓展，方法也在不斷創(chuàng)新。”高麗介紹說，未來團(tuán)隊(duì)的創(chuàng)新技術(shù)可以服務(wù)于機(jī)器翻譯、語義理解等方向，給消費(fèi)者帶來更多、更懂消費(fèi)者的AI技術(shù)和產(chǎn)品。

同時(shí)，高麗期待團(tuán)隊(duì)研發(fā)出的AI語音合成技術(shù)，開展瀕危語言的復(fù)刻，比如錫伯語、彝語等少數(shù)民族語言，上海話、蘇州話、客家話等方言，傳承人類文化瑰寶和保護(hù)瀕危語言。（來源：上海長寧）

分享讓更多人看到