近日,騰訊首席科學(xué)家,騰訊AI Lab及騰訊Robotics X實驗室主任張正友在 2024 年中國三維視覺大會(China3DV 2024)上發(fā)表了精彩的主題演講,并分享了騰訊在AI數(shù)字人領(lǐng)域的最新研究成果。
期間,張正友展示了以《和平精英》數(shù)字代言人吉莉為代表的全雙工對話數(shù)字人技術(shù),并進(jìn)行了現(xiàn)場演示。
這是吉莉繼出席聯(lián)合國婦女署活動、央視五四青年節(jié)特別節(jié)目等場景之后的又一次亮相,進(jìn)一步展示了光子工作室群在AI數(shù)字人領(lǐng)域的積淀和新探索。
技術(shù)革新,AI NPC連接虛實集成世界
2024 年中國三維視覺大會由中國圖象圖形學(xué)學(xué)會(CSIG)主辦,是目前國內(nèi)唯一專注于三維視覺領(lǐng)域的學(xué)術(shù)盛會。本屆大會設(shè)置了包括3DV與世界模型戰(zhàn)略、數(shù)字人等多個前沿論壇,吸引到相關(guān)領(lǐng)域超過1400名專家學(xué)者到場研討。
會上,張正友表示,隨著技術(shù)力進(jìn)化,數(shù)字世界和真實世界的結(jié)合日趨緊密,虛實集成世界已成趨勢。作為虛實集成世界交互的核心,數(shù)字人需要向人格化、知識化、個性化三個方向持續(xù)進(jìn)化,以幫助人類更好地完成數(shù)字、物理世界任務(wù),同時避免交互多樣化導(dǎo)致的失控風(fēng)險。
在這樣的理念下,騰訊光子工作室群聯(lián)合騰訊 AI Lab對AI數(shù)字人的多鏈路技術(shù)能力進(jìn)行了持續(xù)的研究與探索,以《和平精英》的數(shù)字人代言人吉莉為載體,團(tuán)隊聚焦于全雙工對話數(shù)字人與高效動畫制作管線兩大方向。
全雙工對話數(shù)字人:人機(jī)交互新篇章
為了實現(xiàn)更流暢、精準(zhǔn)的人機(jī)交互,團(tuán)隊在語音識別、處理、數(shù)字人內(nèi)容生成和語音播報等多個環(huán)節(jié)完成了關(guān)鍵技術(shù)積累。
識別階段,ASR語音識別技術(shù)可在聲學(xué)特征提取、聲學(xué)模型、語言模型與語言處理等多種能力的配合下實時、準(zhǔn)確地識別多樣真人自然語言,實現(xiàn)真正意義上的“邊說邊聽”。
處理階段,數(shù)字人背后的對話能力依托于千億級參數(shù)的LLM進(jìn)行預(yù)訓(xùn)練加風(fēng)格人設(shè)微調(diào),同時依賴RAG技術(shù)給數(shù)字人對話內(nèi)容進(jìn)行知識輔助,可快速理解用戶意圖,關(guān)聯(lián)上下文內(nèi)容,搜索相關(guān)知識,最終生成邏輯清晰的回答,并依托TTS語音生成、SVC歌唱等技術(shù),結(jié)合應(yīng)用場景實現(xiàn)自主規(guī)劃的主動對話。
另一方面,為推動語音交互向動畫交互的進(jìn)化,團(tuán)隊還在探索Speech2Face 臉部AI驅(qū)動算法和LLM-based動作預(yù)測及生成等前沿技術(shù),實現(xiàn)數(shù)字人多模態(tài)驅(qū)動。
通過Speech2Face 臉部AI驅(qū)動算法,數(shù)字人可實現(xiàn)更精細(xì)的口型、表情臉部驅(qū)動,LLM-based動作預(yù)測及生成則可基于海量訓(xùn)練,達(dá)成數(shù)字人軀體與語言表達(dá)、場景等元素的自然配合,使其整體交互表現(xiàn)更趨近于真人。
在實機(jī)演示中,吉莉展現(xiàn)出了出色的交互能力。她能夠即時理解用戶需求,并給出自然流暢、情緒飽滿的反饋。同時,她的口型、表情和動作演繹都十分自然流暢,無論是對話、外形與動作演繹,還是面部微表情、皮膚肌理都達(dá)到了細(xì)膩、逼真的程度,為用戶帶來了全新的體驗。
創(chuàng)新動畫制作管線:高效支撐內(nèi)容生產(chǎn)
為了滿足《和平精英》的內(nèi)容生產(chǎn)需求,騰訊AI Lab和和平精英團(tuán)隊搭建了一套創(chuàng)新高效的AI動畫制作管線。這套管線集成了3D渲染、面部表情生成、口型動畫曲線生成、語音生成、動作預(yù)測和配置等多種能力,并經(jīng)過多次迭代和優(yōu)化,最新的AI動畫管線3.0算法利用高品質(zhì)動畫數(shù)據(jù)訓(xùn)練了能支持多語言、多情緒、多個性的預(yù)訓(xùn)練模型,并針對吉莉的人設(shè)和個性進(jìn)行了全面的音頻、情感、面部動畫數(shù)據(jù)采集和模型優(yōu)化。這使得吉莉的面部表達(dá)更加完備、細(xì)膩,能夠呈現(xiàn)出個性化的演繹效果。
在算法底層表達(dá)方面,從基礎(chǔ)的36個BS臉部驅(qū)動AI動畫管線1.0,到擴(kuò)展的62個BS臉部AI動畫管線2.0實現(xiàn)更細(xì)致的控制,再升級到當(dāng)前基于MetaHuman綁定的185個非線性控制器表達(dá)AI動畫管線3.0,數(shù)字人的面部表達(dá)的完備性、細(xì)膩度一直持續(xù)提升。
該模型利用多模態(tài)神經(jīng)網(wǎng)絡(luò)來處理不同模態(tài)的輸入信息,并采用自研Diffusion-LSTM架構(gòu)生成對應(yīng)的面部驅(qū)動系數(shù),使得這些系數(shù)所產(chǎn)生的動畫能夠匹配音頻的咬字、節(jié)奏,情感的類型和起伏,以及具有高表現(xiàn)力的個性化演繹。
此外,該管線還支持將高品質(zhì)的MetaHuman動畫重定向到自定義的綁定標(biāo)準(zhǔn),以及準(zhǔn)無損的動畫壓縮,支持更多樣化的需求。
目前,該動畫制作管線已能夠支撐游戲宣傳、商業(yè)合作等多種內(nèi)容制作,通過這套管線,團(tuán)隊能夠高效、高品質(zhì)地完成動畫視頻制作,大幅提升了制作效率,同時確保了動畫質(zhì)量,為用戶提供了更好的內(nèi)容體驗。
科技向善,智能數(shù)字人發(fā)揮多元價值
在持續(xù)提升用戶體驗的同時,光子工作室群也積極踐行騰訊“科技向善”的價值觀。吉莉作為《和平精英》的數(shù)字代言人,不斷參與到文化傳承、公益合作、競技推廣等工作中來,為多個領(lǐng)域賦能。隨著AI數(shù)字人技術(shù)的日益成熟,吉莉正以其強大的表現(xiàn)力,創(chuàng)造著探索科技向善的更多可能性。
作為一種受年輕人喜愛的新媒介,數(shù)字人在向青年群體傳遞正向價值觀方面發(fā)揮著重要作用。在2022年央視五四青年節(jié)特別節(jié)目中,依托于光子工作室群自研的RBF骨骼綁定系統(tǒng)等前沿技術(shù),吉莉以高保真的動態(tài)形象打破次元壁,與現(xiàn)實青年演員、歌手、高校學(xué)子們一同送出了別開生面的虛實融合表演,以一首《New Youth》展現(xiàn)青年朝氣,號召青年朋友打破陳規(guī),創(chuàng)新進(jìn)取。
此后,作為全球首位出席聯(lián)合國婦女署活動的數(shù)字人,吉莉又在相關(guān)活動中做了一次三分鐘、一鏡到底的主題演講。團(tuán)隊通過優(yōu)化3S材質(zhì)提升皮膚質(zhì)感,以Houdini及Xgen解算還原服飾毛發(fā)動態(tài),讓吉莉以更生動、細(xì)致的近景形象融入現(xiàn)實世界,以自身在游戲世界中的經(jīng)歷,向世界傳遞開放、多元的正向價值觀。
2023年,吉莉又化身大熊貓巡護(hù)員,虛實結(jié)合“穿越”大熊貓國家公園,深入了解大熊貓巡護(hù)員的工作,向公眾普及大熊貓保護(hù)知識。她以實際行動倡導(dǎo)環(huán)保與公益精神,呼吁更多人關(guān)注和參與野生動物保護(hù)工作。
AI和數(shù)字人技術(shù)不僅為游戲產(chǎn)業(yè)帶來創(chuàng)新,更在科普、教育等領(lǐng)域發(fā)揮著重要作用。面對網(wǎng)絡(luò)詐騙等社會問題,《和平精英》與國家反詐中心合作推出創(chuàng)意短片《Game World》,通過吉莉與反詐民警的聯(lián)動,向廣大游戲玩家普及詐騙案例、相關(guān)法規(guī)及反詐手段。
作為現(xiàn)實世界的數(shù)字映射,數(shù)字人還為品牌、文化提供了新的推廣渠道和場景。吉莉通過多次聯(lián)動,將彭水苗繡、西湖、冬奧冰雪運動等優(yōu)質(zhì)文化IP帶入游戲世界,助力中國文化的數(shù)字化傳承與發(fā)展。
與此同時,AI數(shù)字人技術(shù)正在動畫、視頻制作、文保、文旅、醫(yī)療、智慧城市、工業(yè)自動化、公益等多個領(lǐng)域發(fā)揮重要作用,數(shù)實融合,為人們創(chuàng)造更加美好的生活。
初見成效,技術(shù)團(tuán)隊持續(xù)精研深耕
截至目前,《和平精英》數(shù)字人的多次落地應(yīng)用已經(jīng)取得了顯著的成效和好評。在商業(yè)和用戶體驗層面,AI動畫管線的支持使得動畫制作周期縮短近50%,提升了內(nèi)容制作效率。同時,團(tuán)隊得以將更多精力投入到內(nèi)容策劃和質(zhì)量提升上,為用戶帶來了更優(yōu)質(zhì)的內(nèi)容體驗。這一成果在具體案例中得到了驗證,使用AI管線后的內(nèi)容在推薦、播放、點評贊等數(shù)據(jù)上均獲得了大幅提升。
社會價值方面,吉莉和游戲IP積極響應(yīng)號召,以自身媒介特性和IP影響力傳遞正向價值觀,為優(yōu)質(zhì)文化的傳播貢獻(xiàn)力量。五四青年節(jié)相關(guān)話題在當(dāng)時多次登上熱搜,關(guān)于和平青年、大熊貓保護(hù)等話題也引起熱烈討論,都體現(xiàn)了數(shù)字技術(shù)在傳播正向價值觀方面的積極作用。這些成果的取得離不開光子工作室群對技術(shù)的持續(xù)探索與深耕。
我們可以看到光子工作室群、《和平精英》和騰訊 AI Lab在技術(shù)布局探索、產(chǎn)品長線發(fā)展等方面的思考和行動,不僅展現(xiàn)了騰訊的技術(shù)實力和創(chuàng)新精神,更為整個行業(yè)樹立了新的標(biāo)桿。通過持續(xù)的精研、探索和落地實踐,團(tuán)隊正在持續(xù)積累勢能的同時,堅定地將技術(shù)服務(wù)于用戶體驗和社會正向價值,以更多元、創(chuàng)新的能力和方式為更廣泛的商業(yè)、文化領(lǐng)域帶來正向價值。未來,我們期待看到更多基于AI數(shù)字人技術(shù)的創(chuàng)新應(yīng)用出現(xiàn),為推動虛實集成的技術(shù)發(fā)展做出更大貢獻(xiàn)。
（免責(zé)聲明：此文內(nèi)容為廣告，相關(guān)素材由廣告主提供，廣告主對本廣告內(nèi)容的真實性負(fù)責(zé)。本網(wǎng)發(fā)布目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點和對其真實性負(fù)責(zé)，請自行核實相關(guān)內(nèi)容。廣告內(nèi)容僅供讀者參考。）
最新評論