6月18日，工業(yè)和信息化部信息通信管理局公布“2024年新型數(shù)字服務(wù)優(yōu)秀案例名單”，由愛(ài)奇藝申報(bào)、北京市通信管理局推薦的“基于大模型的影視劇配音智能解決方案，助力影視劇工業(yè)化和智能化發(fā)展”案例入選。此次入選，進(jìn)一步證明愛(ài)奇藝在服務(wù)質(zhì)量、用戶體驗(yàn)、技術(shù)創(chuàng)新、社會(huì)效益等方面的工作成效和數(shù)字服務(wù)能力。

2024年新型數(shù)字服務(wù)優(yōu)秀案例部分名單

  愛(ài)奇藝具有自主知識(shí)產(chǎn)權(quán)的奇聲影視劇智能配音系統(tǒng)（以下簡(jiǎn)稱“奇聲系統(tǒng)”），將AI應(yīng)用于影視劇配音制作。現(xiàn)階段，奇聲系統(tǒng)由智能配音預(yù)處理、智能多語(yǔ)種配音變聲和智能配音后期處理三大技術(shù)支撐，包含了多個(gè)AI算法模塊和豐富的功能模塊。使用該系統(tǒng)，既能一站式完成影視劇作品的配音，也可以通過(guò)各獨(dú)立功能來(lái)處理不同環(huán)節(jié)的需求。根據(jù)工信部申報(bào)要求，本次獲評(píng)案例不僅需要客觀真實(shí)、具有實(shí)效，還需具備創(chuàng)新性，可以為新型數(shù)字服務(wù)提供示范指引。

  智能配音預(yù)處理技術(shù)對(duì)前期素材準(zhǔn)備工作提效明顯，包括對(duì)多語(yǔ)種字幕進(jìn)行角色拆分，為原始音軌進(jìn)行智能分軌等。通過(guò)聲紋比對(duì)等技術(shù)手段，系統(tǒng)還能智能選取與原版角色最為相近的音色，讓角色配音更加“貼臉”。智能多語(yǔ)種配音變聲技術(shù)則以基于深度學(xué)習(xí)的語(yǔ)音轉(zhuǎn)換技術(shù)為核心，將單一的語(yǔ)音音軌轉(zhuǎn)換為多音色、多語(yǔ)種、多風(fēng)格的語(yǔ)音音軌，讓配音員可以輕松變身任意目標(biāo)角色，配音更具表現(xiàn)力。同時(shí)，該技術(shù)支持包括中文、泰語(yǔ)、越南語(yǔ)等多語(yǔ)種變聲，并針對(duì)各語(yǔ)種進(jìn)行了專門訓(xùn)練。在傳統(tǒng)制作流程中，為了達(dá)到影視劇上線的要求，配音完成后還需要制作人員對(duì)干聲進(jìn)行后期處理以保證質(zhì)量。奇聲系統(tǒng)的智能配音后期處理技術(shù)可以對(duì)音質(zhì)、音量、音效進(jìn)行快速處理，將制作人員從重復(fù)工作中解放出來(lái)。

  據(jù)奇聲產(chǎn)研團(tuán)隊(duì)負(fù)責(zé)人介紹，奇聲系統(tǒng)的技術(shù)核心是基于深度神經(jīng)網(wǎng)絡(luò)和大模型技術(shù)的Voice Conversion技術(shù)，該技術(shù)在近年來(lái)得到了一定程度的發(fā)展，但在影視劇這類高表現(xiàn)力場(chǎng)景的效果仍有待提高。

  作為國(guó)內(nèi)代表性的網(wǎng)絡(luò)視聽(tīng)新媒體平臺(tái)，愛(ài)奇藝深入影視劇內(nèi)容生產(chǎn)的各環(huán)節(jié)，持續(xù)挖掘以技術(shù)創(chuàng)新提質(zhì)增效的空間。目前，奇聲系統(tǒng)已經(jīng)為超過(guò)300部海外電影制作了普通話配音版本，為50多部華語(yǔ)電影、800多集國(guó)劇制作了多國(guó)配音版本。在科技創(chuàng)新的助力下，影視劇配音工作日益智能化，有效縮短了出海國(guó)劇及引進(jìn)內(nèi)容的上線時(shí)間，支持了更多好內(nèi)容“引進(jìn)來(lái)、走出去”，進(jìn)一步滿足了海內(nèi)外用戶的內(nèi)容消費(fèi)需求。

  隨著大語(yǔ)言模型和生成式AI的快速發(fā)展，內(nèi)容生產(chǎn)效率有望進(jìn)一步提升，優(yōu)秀創(chuàng)意和卓越審美的重要性越發(fā)凸顯。愛(ài)奇藝首席技術(shù)官劉文峰曾公開(kāi)表示，“現(xiàn)階段生成式AI產(chǎn)出的內(nèi)容創(chuàng)意性依然偏弱。內(nèi)容產(chǎn)業(yè)從業(yè)者在關(guān)注應(yīng)用AI提升內(nèi)容生產(chǎn)效率的同時(shí)，還需更進(jìn)一步去思考AI可以如何幫助專業(yè)內(nèi)容創(chuàng)作者提升創(chuàng)意水平。”為此，愛(ài)奇藝將自身龐大的影視資料數(shù)據(jù)與大模型結(jié)合進(jìn)行訓(xùn)練和微調(diào)，為影視產(chǎn)業(yè)場(chǎng)景開(kāi)發(fā)生成式AI的垂類應(yīng)用，以此支持更多創(chuàng)作者釋放創(chuàng)意。