還記得電影《銀翼殺手2049》里面的經(jīng)典一幕嗎？AI角色JOI從周到、暖心的知己，快速轉(zhuǎn)換成靦腆而富有魅力的女子。從這個鏡頭之后，觀眾就明白原來JOI是一個認(rèn)知虛擬人全息影像，也是男主角K殘酷的生活中唯一一個有意義的關(guān)系。
.jpg)
▲ 電影《銀翼殺手2049》
前段時間，我們?yōu)榇蠹規(guī)砹岁P(guān)于虛擬人的認(rèn)知科普、商業(yè)價值探索與應(yīng)用的系列文章——【未來進(jìn)行時-1 | 歡迎來到虛擬人時代！】和【未來進(jìn)行時-2 | 虛擬人多場景應(yīng)用 賦能品牌強(qiáng)勢破圈】，今天再接再厲推出第三篇-黑科技篇 ——
“因為黑科技才是讓虛擬人前進(jìn)的驅(qū)動力，這些黑科技正在變得越來越酷炫，或者越來越簡單，并成為虛擬人得以在未來被廣泛應(yīng)用的基礎(chǔ)”。
在進(jìn)行黑科技介紹之前，讓我們一起來學(xué)習(xí)當(dāng)前一個非常重要的研究成果“科特勒最新的研究成果：營銷5.0”
營銷5.0的核心，
是科技+人文，
給營銷帶來重大新驅(qū)動。
這其中，“人文”和IP緊密相關(guān)，從內(nèi)容營銷到社交營銷，從全新品牌打造到成熟品牌迭代更新，都離不開IP化的推動。而“科技”是關(guān)鍵的幕后推手，如果沒有科技的變革和推動，讓過去彼此分離的商業(yè)經(jīng)營與文創(chuàng)內(nèi)容緊密結(jié)合起來，就談不上營銷和品牌的迭代。
(25).jpg)
▲ 過去：企業(yè)的商業(yè)運(yùn)營是商業(yè)運(yùn)營和文創(chuàng)內(nèi)容的聯(lián)系，只能靠廣告、公關(guān)等來結(jié)合。
現(xiàn)在與未來：商業(yè)運(yùn)營和文創(chuàng)內(nèi)容之間形成彼此需要、高度融合的關(guān)系，中間的催化劑是不斷變革發(fā)展的黑科技。
之前我們了解到虛擬人的商業(yè)運(yùn)用是借助新科技讓商業(yè)經(jīng)營與IP文創(chuàng)融合的顯著代表，接下來我們將逐一介紹驅(qū)動虛擬人飛速發(fā)展背后的黑科技，及其可能帶來一些變革。
一
虛擬人
數(shù)字人大家庭
虛擬人與數(shù)字人兩個概念多數(shù)時候可以通用，相比之下，虛擬人更側(cè)重其在外觀、智能等方面與人的相似性，在難辨真假的同時可以進(jìn)行交互。
對于虛擬人的技術(shù)分類，我們可以從風(fēng)格、創(chuàng)作主體、應(yīng)用場景、驅(qū)動方式幾個方面進(jìn)行了解：
(16).jpg)
▲ 虛擬人\數(shù)字人大家庭
?按照美術(shù)風(fēng)格分：可以大體劃分為高保真風(fēng)格、寫實風(fēng)格與卡通渲染。其中寫實與卡通是一種譜系而非存在涇渭分明的界線，而卡通風(fēng)格也可進(jìn)一步細(xì)分，比如美式卡通、韓系風(fēng)格、二次元風(fēng)格等。
?按創(chuàng)作主體分：虛擬角色的創(chuàng)造者，包括專業(yè)創(chuàng)作者從創(chuàng)意想象出發(fā)，經(jīng)過2D原畫—3D建模—綁定—動畫等流程制作出的，屬于PGC類型；一般用戶通過專業(yè)的平臺工具，將自己的照片、視頻上傳后自動化生成，或組合已有的面部特征、修改參數(shù)進(jìn)行“捏人”的，屬于UGC類型。
?按應(yīng)用場景分：虛擬人可延展的場景極廣，包括泛娛樂偶像、直播帶貨、虛擬陪伴、虛擬客服、教育培訓(xùn)、文旅城鎮(zhèn)、博物館、影視制作等等。
?按驅(qū)動方式分：也就是讓角色動起來的方式，這里有可以手動調(diào)整動畫的關(guān)鍵幀，再平滑模擬出過渡幀，實現(xiàn)角色動畫；或像MMD（MikuMikuDance，虛擬角色跳舞）那樣，導(dǎo)入預(yù)先制作好的動畫方案，讓角色模型舞動起來；還可以通過面部、身體動作捕捉，將真實運(yùn)動映射到虛擬角色的身體，部分虛擬主播、虛擬偶像就采用這種方案。
二，
從很像到很真
影視級照片建模技術(shù)
制作實時渲染、高保真、可交互的數(shù)字人類，需要影視、游戲兩個領(lǐng)域技術(shù)的取長補(bǔ)短。
通過傳統(tǒng)流程制作出的游戲角色，仍與真人在細(xì)節(jié)上有一定差距。角色制作遵循一條由虛向?qū)嵉穆窂?，一般流程?D原畫設(shè)計—3D建模—貼圖—骨骼綁定—動畫制作。
基于顯卡運(yùn)算能力和引擎渲染能力的不斷攀升，寫實風(fēng)格的角色效果正不斷向影視級靠近：角色可使用的面數(shù)不斷增加，材質(zhì)提升，細(xì)節(jié)完善，這從《古墓麗影》系列主角勞拉的形象變化可見一斑。
(18).jpg)
▲歷代勞拉，越發(fā)真實
這屬于photogrammetry（攝影測量法）的范疇，即使用單個場景拍攝的多張不同角度照片來重建3D空間中的 CG 模型?；貞浵隆逗诳偷蹏分械淖訌棔r間特效，現(xiàn)場有多臺攝像機(jī)，用不同角度的影像重建出可360°旋轉(zhuǎn)的場景。
(15).jpg)
▲《黑客帝國》子彈時間
Light stage技術(shù)正是通過構(gòu)造相機(jī)陣列，以多角度、高精度照片，既還原拍攝人物的三維結(jié)構(gòu)，也獲取面部的反射信息，從而能在不同環(huán)境光下重構(gòu)人臉模型光效。
Light stage在不斷迭代中解決了技術(shù)和工程難點，包括高精度皮膚紋理合成、光照與環(huán)境隨時統(tǒng)一、更準(zhǔn)確快速的采集過程。
(20).jpg)
▲ Light stage5 ，《本杰明巴頓奇事》《蜘蛛俠3》《阿凡達(dá)》等均使用過
來自影視的照相建模、高精度3D掃描、面部和動作捕捉相關(guān)技術(shù)，已經(jīng)應(yīng)用到游戲的實時渲染領(lǐng)域，為表現(xiàn)力帶來飛躍。
接下來，如何進(jìn)一步滿足虛擬人實時交互的需求呢，比如，讓演員的表情與虛擬人達(dá)成“神同步”？多個技術(shù)團(tuán)隊展開了探索。
三，
從形似到有神：
AI助力多樣化人物驅(qū)動
為了讓虛擬人和我們自然地交流互動，騰訊NExT Studios與AI Lab在虛擬人Siren（演員實時表情動作驅(qū)動）—Siren AI（語音文字驅(qū)動）—Matt AI（更真實情感表達(dá)）項目歷程中，逐步探索“秀外慧中”的全方位能力。
2018 年 5 月， Siren 驚艷亮相，激起了人們對虛擬人技術(shù)的無限暢想。
Siren的特性是實時表情動作驅(qū)動，涉及多方向的技術(shù)突破，在多國企業(yè)協(xié)同合作下完成：美國的Epic發(fā)起和協(xié)調(diào)項目，以Unreal引擎整合模型、貼圖、動作等數(shù)據(jù)資源；塞爾維亞的3Lateral制作高精度人物模型，同時建立綁定，為演員和虛擬人的同步搭建轉(zhuǎn)換橋梁；英國的Cubic Motion，負(fù)責(zé)實時的表情捕捉；NExT作為項目所有者，提供基于Unreal引擎的高質(zhì)量的人物渲染，也積極參與研發(fā)的全過程。
▲ Siren（塞任）意為古希臘傳說中半人半鳥的女海妖。而她的面部形象，來自于中國的女演員姜冰潔。
技術(shù)的進(jìn)步讓Siren擁有了逼真的3D形象，我們能否進(jìn)而賦予她精致有趣的“靈魂”呢？
2018 年下半年的 Siren AI 項目，旨在讓虛擬人不止步于“提線木偶”，將智能音箱、語音助手、與人自主交互的能力賦予Siren，讓她獨立做到能聽、會說。
這涉及多個AI研究和工程領(lǐng)域，包括語音識別（ASR）、自然語言處理（NLP），語音合成（TTS），語音驅(qū)動面部動畫（ADFA）。難點集中在最后一步，核心是利用AI訓(xùn)練出語音/文字和面部模型肌肉控制間的對應(yīng)關(guān)系，然后進(jìn)入渲染引擎、驅(qū)動虛擬人。
(12).jpg)
▲ 原理展示
2019年，NExT自主制作了男性虛擬人Matt，自主完成一整套高保真虛擬人的研發(fā)流程，并探索語音自驅(qū)動且能表達(dá)情緒的虛擬人技術(shù)，將語音、情感、生動的面部表情緊密關(guān)聯(lián)起來。
▲ Matt AI 一個讓語音驅(qū)動的虛擬人能表達(dá)情感
為此，團(tuán)隊建立了一套精確的面部動捕流程，以不同情感下的動作捕捉，來訓(xùn)練語音驅(qū)動模型，最終構(gòu)造了一個長約20個小時、13339條語句的，包含語音、面部運(yùn)動和身體運(yùn)動的多模態(tài)訓(xùn)練數(shù)據(jù)集。在Siren AI 基礎(chǔ)上，增加情感維度數(shù)據(jù)，讓Matt擁有微笑、蹙眉等微表情，多了更自然的“人情味”。
(10).jpg)
▲ Matt AI訓(xùn)練過程的示意圖
未來，讓虛擬人表現(xiàn)更自然的驅(qū)動方式會更多樣化。
特別是面部表情、眼神、肌肉運(yùn)動的細(xì)膩流暢，這既需要更多的真實數(shù)據(jù)、更優(yōu)質(zhì)的算法，也需要生物學(xué)、圖形學(xué)、影視學(xué)等多方跨界支持。
軀體動作的加強(qiáng)也是未來方向，個性化的動作組合能彰顯虛擬人迥異的性格，增加親和力和可信度，這對虛擬主持、主播、客服等需要和直面用戶的領(lǐng)域十分重要。此外，我們也看到了從用遙感和按鍵來“操作”角色，到實時動補(bǔ)、語音和文字帶動角色的技術(shù)變化，相信未來也會有更多更直觀、適合每個人的驅(qū)動方式出現(xiàn)。
當(dāng)一個亦真亦幻的世界離我們不會太遠(yuǎn)時，真實人與虛擬人交織的狀態(tài)也就成為必然
(11).jpg)
▲ HBO美劇《西部世界》中的機(jī)器“接待員”Dolores
隨著虛擬人技術(shù)的突飛猛進(jìn)，越來越多的C端消費者和B端用戶對這一領(lǐng)域開始充滿熱情。虛擬人IP以其高識別度、靈活性、交互性和可控性，在企業(yè)與未來消費者的溝通互動中發(fā)揮了至關(guān)重要的價值意義。
與此同時，虛擬人在開發(fā)完成后邊際成本低、邊際收益高的特點也不會給企業(yè)帶來沉重負(fù)擔(dān)，有著輕量化運(yùn)營特點的虛擬人IP反而能夠給企業(yè)帶來更多可能性——譬如除廣告營銷外，它們還能化身客服人員及時與消費者答疑互動。
因此我們不妨大膽猜測，在不遠(yuǎn)的將來，虛擬人有望成為各大企業(yè)、品牌和機(jī)構(gòu)的標(biāo)配應(yīng)用形象。
(7).jpg)
▲ 虛擬人AYAYI參加嬌蘭活動
作為構(gòu)建虛擬人IP應(yīng)用生態(tài)圈中的重要一環(huán)，在水一方接下來也將長期為各企業(yè)品牌主提供全棧式的虛擬IP形象打造服務(wù) ——
從掃描、建模、綁定、動畫制作，到實時驅(qū)動二次元或者真人CG角色，全環(huán)節(jié)高質(zhì)量的制作與緊密配合，賦予虛擬人、虛擬IP形象靈動自如的能力，推動品牌虛擬代言人、虛擬偶像合作等商業(yè)場景的廣泛應(yīng)用，全力以赴助力企業(yè)完成品牌影響力和產(chǎn)品力的跨次元破圈。
(9).jpg)
2021年會是虛擬人發(fā)展的重要拐點嗎？
這個問題也許很難在當(dāng)下給出明確的答案，畢竟科技的發(fā)展速度往往超乎我們的預(yù)期。但可以肯定的是，在技術(shù)、資本和市場的多重同步支撐下，更高品質(zhì)的虛擬人時代正向我們加速靠近。（完）
