假如你可以定制自己的臉，你會制作出怎樣一張臉？如今，在形形色色的虛拟世界裡，人們都希望能擁有一個獨特的形象，無論是将自己還原，還是創建一個新角色。傳統提供固定臉部素材進行組合的捏臉方式，已經無法滿足用戶的差異化需求，人們不再希望和别人共有一張臉。

尤其在創建虛拟形象需求最集中的遊戲業界，随着硬件配置不斷疊代，遊戲在畫面精細度和角色操控自由度方面越發強大，為了滿足玩家的個性化需求，一些遊戲開發商開始為玩家提供一整套自由度極高的“捏臉”系統，可以讓玩家根據自己的審美細化設定角色外觀，使遊戲體驗更加沉浸化。

不過，更加複雜的捏臉系統也帶來了更高的操作要求和審美要求，當面前擺着幾百個滑塊，人們卻不知道如何才能調制出自己想象中的形象。于是智能捏臉系統應運而生，隻需要上傳你喜歡的形象的照片，就可以生成高度還原的3D虛拟角色，避免“遊戲五分鐘，捏臉兩小時”的麻煩。

捏臉技術不僅可以用于遊戲，也可以用于制造虛拟人，并應用于文旅、醫療等行業。而從元宇宙的視角來看，捏臉可能是元宇宙系統裡最基礎的項目，每個人都需要通過捏臉定制自己的虛拟形象，打造虛拟分身。

打造AI捏臉系統的智能捏臉師，其實是人工智能算法工程師的一個方向，他們負責開發捏臉功能、訓練捏臉系統。智能捏臉師既要會AI算法、開發工具、深度學習框架，又要懂美術、心理學，面部相關的知識，在工作中常常會遇到意想不到的問題和細節，也會有出乎意料的收獲。

網易伏羲人工智能實驗室的智能捏臉項目，于2018年底在端遊《逆水寒》中上線。這也是全球首次在MMORPG遊戲中實現基于單張照片的智能捏臉玩法。系統使用大量的随機參數來模拟捏臉，訓練AI學習捏臉的過程。玩家上傳照片以後，系統就會把照片拆解成AI理解的形式，比如五官的位置、大小，妝容顔色等特征，AI就會根據這些信息，對這些特征做複原。

以下是三位網易伏羲智能捏臉師的自述，略經钛媒體APP編輯：

01 我們在鼠标、鍵盤和手柄以外，增加了一個玩家和遊戲交互的渠道

網易伏羲視覺計算組負責人、智能捏臉師 神秀

我們視覺計算組主要研究方向是如何通過視覺和圖音學的技術去豐富遊戲的玩法，比如捏身體，進行動作、表情的遷移，還有捏臉。

捏臉項目是我們的核心項目，從18年7月立項到現在，我已經參與研發三年多了。每一年捏臉系統都會有版本疊代，從最開始的第一版到現在的第三個大版本，每年都會有一些創新的技術點，發表一些論文。

最開始我們有做這個産品的想法是因為網易一款叫《逆水寒》的大型端遊，其中包括一個非常複雜的捏臉系統。每一個玩家都可以通過操控遊戲裡面幾百個滑塊來調整參數，比如調整眼睛大小、鼻子大小、人中長短等等，去得到一個自己喜歡的形象。這個形象可以以現實的人物為參照，玩家可以捏出劉亦菲，也可以捏出現實中的自己。功能雖然很強大，但是對于大部分普通玩家來說，可能需要花費幾天的時間才可以完成一個滿意的形象。

于是遊戲方就找到我們，希望我們能夠通過AI的技術，根據玩家上傳的照片去自動分析他的面部特征，調整參數，然後生成一個和照片相似度盡可能高的三維形象。我們和遊戲方聊了之後，覺得這個很有意思，對用戶也很有幫助。當時我們發現淘寶上有很多人通過幫玩家捏臉的服務來賺錢，收費在幾十塊錢到幾百塊錢不等，月銷量很高。這說明很多玩家都有希望有人能幫助他實現捏臉的需求，而我們通過技術能夠讓更多的玩家更廉價、更便捷地享受到這種服務，這就是我們18年立項的初衷。

我們是業内首次提出這種智能捏臉玩法的團隊，并且在MMORPG遊戲中第一個做出了這種玩法，也發表了一些頂級會議和論文。當時做的時候也沒有想過這個項目會做持續三年之久，因為對我們來說，其實這隻是我們衆多項目中的一個，但是做下來之後發現智能捏臉服務在遊戲中非常受歡迎，有非常多的玩家願意去體驗。玩家也會給我們寫很多評價和意見。我們在開發的過程中也覺得很受振奮，因為很多玩家都喜歡我們的産品，我們的技術為他們提供了服務，并且創造出了價值。遊戲方也給了我們很多建議并且支持我們不斷地對産品進行疊代。在疊代中我們也會去參加一些學術會議，和同行進行分享，逐漸地就有越來越多的公司開始涉及智能捏臉的領域。

其實，智能捏臉也經曆了一個不斷疊代和成長的過程。

在18年12月上線的第一版，是一個疊代的神經網絡優化的算法。它的優勢是不需要監督數據，即我們的捏臉不需要去收集真實人臉照片去訓練AI，而完全是用我們的系統自己生成渲染的照片來做自監督訓練，比起采集數據的方式，我們整個系統的多樣性就會更豐富，任意的照片我們都可以訓練，并且成本很低。但它的缺點是對每一張照片都需要去疊代地調整，所以當時的速度不是很快。為了滿足遊戲上線後的并發需求，我們調了非常多的GPU服務器，大概最後穩定在玩家每一張照片能夠在0.5秒之内出結果。在第二年對産品的疊代之後，我們進行了速度上的一個大幅優化，我們将算法改成了一個單步的前向算法，在質量不變的情況下将運行速度提高了大概2000倍，即達到了毫秒級，可能幾毫秒的時間，甚至不到毫秒的時間就能夠出結果。

第一個版本我們要求玩家必須上傳正面照片，照片光照不能過于變化不均，後來我們改善了魯棒性，使玩家照片可以拍地更自由。在第二年的第二個大版本，我們不僅捏出了人臉的形狀，還會還原它面部的紋理細節。比如說臉上可能有一個刺青、皺紋，或者痘痘，我們都會将它還原出來。從我們最新的成果來看，基本上由照片捏出來的臉，和照片已經很難分辨了。

微表情也是我們正在進一步改進的地方，微表情其實比起單純捏臉涉及到更多，也是需要美術方的支持。我們現在使用的表情呈現是基于設置的51個基底組成各種表情，但是通過這種方式很難讓角色表達細微的表情，比如當系統檢測到玩家微微上揚嘴角或者微微眯起眼睛時，是無法反應到角色上的。目前我們正在對這點進行改進，為了使角色更加還原，更加逼真，不僅僅能夠捏出長相，我們正在研究如何基于骨骼去在這個捏臉方案上實現微表情，從而能夠更體現出人的氣質。

通過将圖像視覺算法與遊戲結合，我們可以給遊戲帶來很多新的東西，創造一些業界傳統的遊戲不具備的功能，讓遊戲和人之間的距離更近。捏臉、表情、動作這些功能，就像是讓遊戲具備了“眼睛”，它可以觀察玩家，然後通過識别玩家本身的特征去在遊戲内部做一些反饋。相當于我們在鼠标、鍵盤和手柄以外增加了一個玩家和遊戲交互的渠道，就是攝像頭。玩家可以通過視覺信息跟遊戲發生很多很神奇的交互，讓視覺計算和遊戲擦出新的火花。

在做捏臉這個項目之前當然也會有一些沒想到會遇到的狀況，比如之前我也很難想象我們一堆直男會去看美妝視頻。最開始我們去做捏臉的時候，發現因為很多女玩家會上傳明星或者是自己化妝後的、美顔後的照片。男生可能大多數就随便拍拍了，所以剛開始我們是沒有考慮到口紅這種東西的。後來說那我們也可以加個口紅的選項，然後我們幾個男生就開始讨論說口紅有幾種顔色你知道嗎？結果沒人知道。我們就拍闆定了三種顔色，紅色，橘色和粉紅色。後來就被産品教育了，說口紅有多少多少個顔色。因為這些鬧出了很多事情，後來我們就真的去視頻網站，去短視頻平台上面去學習化妝。然後大家才知道，原來化妝有這麼多步驟，比如說什麼眼影、腮紅、遮瑕、修容......有非常多的東西。所以我們現在也了解到了很多，以前其實對我們來說，可能很多時候女生不塗口紅就是沒化妝，現在就能看出來這個人可能是上了什麼，可能打了什麼，懂了一些不知道以後有沒有用的知識。

我們也會為了實驗，作為演員去錄影棚錄一些資料。我就去錄了我的表情和身體以及動作，給我自己重建了一個三維數字形象。我看到那個三維的自己出現在屏幕裡的時候就覺得是挺魔幻的，然後也沒自己想象的好看。我就理解了确實絕大部分人對自己的顔值都有點過高的誤解。在拍攝過程中，我們也了解到演員拍攝背後的辛苦，于是我們也開始研究怎麼樣降低他們的工作量，還有怎麼去幫助特效演員去做一些特效，減輕他們的負擔。我們的研究主要還是圍繞人去展開，為了服務人去提出一些解決方案。

我們也會把智能捏臉提供給遊戲去做一些NPC的制作。起因是我們有一次在體驗自己合作的遊戲的時候，發現很多NPC除了衣服以外，其實長得都是完全一樣的。了解之後發現，因為制作一個NPC的成本比較高，其實對一些不重要的NPC，遊戲方都會用同樣一張臉，我們就想智能捏臉其實可以解決這個問題，于是向遊戲方提供了一套可以自動生成人臉的算法，他們隻需要通過簡單的操作就可以得到非常多不同的人臉，從中選擇符合需求的人臉就可以了。這樣一來可以大大加速NPC的制作流程，并且降低成本。

這次合作又使我們産生了進一步的想法，除了生成每個NPC獨有的臉，我們還希望這個NPC能夠具備一定的智能，我們希望這個NPC長得像人，動起來也像人，說起話來也像人，有人類真實的情緒和表達，就像《失控玩家》那部電影一樣，讓NPC能真的自主和玩家進行更深度的交互。這也是我們聯合包括自然語言組、強化學習組等一起想要完成的一個工作，希望為玩家帶來一個全新的體驗。

除了遊戲以外，我們現在也會嘗試去做一些直播之類的娛樂項目、醫療項目、還有一些文旅項目，比如讓遊客都能夠實時實景地體驗景區或者博物館，也會有一些穿越的項目，比如讓用戶的形象穿越到某個朝代。

我們正在做的一系列課題實際上就是，在縮短現實世界和虛拟世界的距離，我們希望能讓現實世界數字化的過程越來越便捷、越來越廉價、越來越方便，希望虛拟世界和現實世界的交互越來越強。我們在現實世界中做的事情，可以帶到虛拟世界，而在虛拟世界的成就也可以反應到現實世界裡。比如我在虛拟世界裡賺到了錢，在現實世界也能獲得回報。當我們的技術發展到一定水平，我們希望最後大家都能夠自由地在這兩個世界穿越，去學習、去工作、去娛樂、去突破現實的一些壁壘，比如空間上的限制，或者疫情的限制，然後讓大家更加緊密地聯系在一起，讓人和人之間有更多的交流和合作。這樣的技術的實現，我想也隻是時間問題了。就像人們很久以前說千裡傳音是一件很神奇的事情，但現在有了電話就很方便，而很快，我們又有了視頻通話。技術的發展，就是在不斷地拉近人與人之間的距離。

但是至于當虛拟世界發展到一定地步，比如當元宇宙誕生，人會不會去模糊虛拟世界和現實世界的界限，甚至沉溺于虛拟世界？我想從技術上來說我們希望虛拟世界能更加真實、更加方便、更加豐富，用戶們有自己的選擇，但最終我們真正的快樂可能還是要從現實世界中得到。我們的成就感也好、貢獻也好，都還是要來源于現實世界的。就比如我做視覺計算，我覺得我的貢獻就是我通過自己的工作服務了很多現實中的人，讓他們獲得了快樂，讓我的技術被人認可，那我就從中得到了很大的成就感。我不希望大家沉迷在我們通過技術搭建的這個遊戲世界裡，我隻是希望這個遊戲世界能給大家在繁忙的工作之餘帶來一些放松，帶來一些調劑。

這麼多年下來，我做了很多東西，也影響到了這麼多用戶，這份工作對我來說是非常讓我開心，也很有成就感的。現在元宇宙，虛拟人等等其實都特别需要這些技術，我也願意把這個技術不斷地往後推進。有時候看到一些公衆号傳播一些數字人的前沿科技的時候，我就會想，這些東西我們已經在做了。

02 做AI捏臉原本是想捏得更像人，卻發現有人更喜歡捏“妖怪”

網易伏羲智能捏臉師 晚豐

我是人工智能算法工程師，你也可以叫我智能捏臉師。

我們所研究的AI智能捏臉，就是利用高保真三維人臉重建技術，使玩家僅需上傳一張照片，就可以快速獲得與之相像的虛拟形象。同時，還能根據用戶的想法對生成的模型進行調整。

AI的本質是特征處理的工作，我們的系統不需要真實照片的數據庫，而是直接利用随機參數去訓練AI模拟捏臉。需要在照片上選取關鍵點，比如眼睛大小和五官的位置，然後在捏臉系統中也去檢測這些關鍵點，調整參數讓兩者一緻，就可以做到複原的效果。在訓練過程中，AI會自動設置指标，當匹配到一定精度時就會停止。這樣就可以保證捏出來的人臉和照片達到我們想要的相似度。

訓練捏臉系統有一個過程，最開始做Demo的時候這個系統可能就是很粗糙的一個東西，生成出的模型很醜，沒有頭發也沒有眉毛。随着對AI的訓練，慢慢地會有一個從無到有的過程，從剛開始不像，捏出來臉都差不多，到相似度越來越高。在算法優化的過程中會有明顯的變化。我們搭建的系統也是從一個很雜亂的狀态，到逐漸流程化，我們對每一個模塊都很熟悉，都在其中注入了很多心血。

每次做一個新的項目都要從基本訓練開始，雖然算法流程是統一的，但是每一個項目的美術和風格是不一樣的，男性、女性、小孩、老人都各有不同，最後生成的算法也會有有差距，所以我不會覺得枯燥，反而認為都是一種新的體驗。

在項目對接的時候，我們也會遇到一些之前想不到的細節問題。比如《永劫無間》的海外版本，就要考慮人種和膚色的問題，因為之前主要面向國内市場，面向的基本都是國人。現在根據不同人種，我們就需要優化模型，去做一個膚色上的判斷。還有我們的沉浸式會議系統“瑤台”，在舉辦學術會議的時候因為專家學者很多都戴眼鏡，為了更還原現實特地增加新的眼鏡功能模塊。

現在捏臉系統主要應用在遊戲中，我們合作開發捏臉系統的遊戲我都會去嘗試遊玩，也會去論壇和貼吧看看玩家對捏臉系統的作品和評價。玩家捏臉也有不同的取向，有的玩家會上傳明星的照片捏臉，或者本人的捏臉。這種類型的捏臉就要考慮人物的美觀性。AI是無法理解“美醜”的，它隻會把關鍵點量化，不會考慮氣質上的東西。

我們通過幾個不同的角度去訓練AI的“審美”。首先我們建立了一個人臉打分的數據庫。我們之前有一個玩家的捏臉大賽，通過大賽我們其實可以知道大部分玩家喜歡什麼樣的長相。其次我們請了很多美術幫我們去标了一些AI生成的捏臉照片的顔值，基于這些監督數據，我們可以初步訓練AI得出一個美醜的基本評價标準。基于這個标準，我們可以驅動它，讓我們的照片生成的模型變得相對好看一點，同時我們還會請美術幫我們定義很多他們認為在什麼樣的臉型上會特别美的範本，就像整容醫院的模闆一樣。最後相當于系統給生成的結果做了一個微整形，對每一張臉去匹配一個它最合适的整形的方向。當然我們也會調節權重，讓系統在像和美之間進行一個權衡。

還有一些玩家會捏一些二次元的動漫角色。之前我們系統還是傾向于捏真人的照片，所以在系統設置上會限制參數，像一些奇怪的臉型和眼型之類的就無法還原，對二次元角色的支持度較低。但是在看玩家評價的時候我們發現，其實捏得醜也會被人喜歡。有一些奇形怪狀的作品，比如捏得像皮卡丘、像滅霸一樣的，或者整個臉都變形的那種角色也很受歡迎。我也嘗試過捏一些奇怪的、和别人不一樣的角色，比如我捏過豬八戒，這種有特點的角色在遊戲裡隔很遠就能被看到，感覺也挺有意思的。所以現在我們也會嘗試去複原一些不常規的臉型，希望當玩家在上傳二次元的、非現實的照片的時候，我們也能夠将它還原出來，去更加貼近玩家的創作需求。

除了遊戲之外，我們的捏臉系統還可以應用到各種軟件上，目前有在做和虛拟演唱會、劇本殺、沉浸式會議系統等等的結合。現階段在應用内植入捏臉系統還是個很大的工程，所以上線的應用類型并不多，等流程進一步簡化之後相信就會更加普及。

不僅是捏臉，表情遷移、動作遷移的功能也已經在遊戲中落地，玩家可以讓自己的虛拟角色做出和自己一樣的表情、一樣的動作。通過我們的這些技術，AI捏出的每一個形象都可以支持面部和身體的運動，即具備成為一個虛拟人的條件，目前我們伏羲内部的各個項目組，比如語音，動作，文字等都已經發展成熟，正在結合各組的技術去做一個高精度的虛拟人項目，智能捏臉之後也會去支持這樣的一個課題。

在元宇宙中，人們也會希望自己擁有一個獨特的形象，其實我們的沉浸式會議系統“瑤台”就類似一個“極簡元宇宙”。瑤台搭建了一個虛拟化的會議場景，人們在線上通過自己的虛拟形象進行交互。在智能捏臉方面，比起遊戲裡的角色，由于元宇宙的虛拟角色會近距離看到彼此的臉，對捏臉的精細度和真實度的要求會更高，我們也在向着這個方向去推進。

03 捏臉是把千篇一律的遊戲内容，變成了個性化的一種表達

網易伏羲智能捏臉産品負責人 楚涵

我的主要工作是站在怎麼為遊戲和商業化能力賦能這個角度，去規劃我們的捏臉産品，然後和需求方去對接，推進産品的完成。

遊戲類的AI産品有圖形圖像等多個方面的角度，而我認為我們在做的捏臉是把千篇一律的遊戲内容，變成了個性化的一種表達，讓我們的遊戲更加得生動，這個世界更加得豐富。我們最終的呈現是在遊戲裡生成了千人千面的遊戲分身。

根據每個人的個性，我們在虛拟世界上傳的角色有可能和現實中真實的自己不一樣，但其實這也是我們的一部分。而在不同的場景下，我們生成的形象可能也會不一樣，比如在社交軟件，可能大家就會希望生成一個好看一點的角色；在遊戲裡，會希望擁有一個有趣的形象；在工作場景下，就會希望自己的角色給人一個可靠、嚴謹的印象。

因為人本來就不是單一的，實際上虛拟世界的自己就是我們的另一面。它是我們在那個場景中想表達的一面性格，一種心理訴求。而因為比起現實世界，虛拟世界減少了種種限制，所以我們能去釋放那個真正想表達的部分，去成為我們真正想成為的人。虛拟角色成為了我們的出口。

人是一種視覺動物，所以通過捏臉創造出的形象，我們可以帶給别人不同的感受，留下我們想讓别人對我們留下的印象，去打破我們真實長相的局限。對自己長相不自信的人，也許可以通過這個功能得到心理層面的一種滿足，去達到自己希望達到的狀态。就算我選擇醜的形象，也是我的一種視覺表達。雖然形象不同，但是其中的文字和情緒等等還是我自己。

而站在産品的角度，我認為用戶對于智能捏臉的最基礎、最核心訴求其實是“一鍵操作”。到底是追求好看還是特别，是真實的還是二次元的，這和客戶群體有關。比如PC端遊的用戶對高清和真實的需求就高于手機端用戶。對于風格來說，更是沒有辦法一概而論。用戶最喜歡的其實是操作簡易化，不管是哪種形象，首先就需要操作簡單，上傳照片之後馬上就能生成出我想要的捏臉結果。

我之前是做人臉特效版面，比如美顔美型還有貼圖，大多用于短視頻和直播産品，對人類底層檢測這一塊是比較熟悉的，相對智能捏臉會比較基礎和常規。而捏臉AI從識别檢測深入到個人模型的生成，一系列推進都會非常的有趣，因為它的情況多種多樣，需要我們想出各種解決方案。

作為智能捏臉的産品側，我們需要不斷地去收集市場方面的熱點和趨勢，還有用戶的新需求。有時候我們去捏了一個很奇怪的形象，比如用人臉捏了一個皮卡丘，就有人可能會覺得這麼醜你們為什麼要去捏？但是從産品的角度其實是要去嘗試這種五花八門的東西，因為用戶是不能局限的，他們的接受度是很高的，我們的系統開放性大了，用戶也會去做更多的闡釋。

比如說現在，我們《永劫無間》這款遊戲中最新的捏臉效果從檢測能力到生成能力一體化都有很大的提高。現在網上最熱門一個點就是說《永劫無間》有打破人臉格局，在做一些開放式的捏臉效果和分享，比如說孫悟空，伏地魔，阿凡達這類非真人人臉的捏臉的效果，達成了玩法上的突破。

我們經常會給開發提一些想法，他們會根據這些對系統做訓練和疊代，其實這對于他們來說也是一種挑戰。比如給他提一些誇張的卡通形象，那麼捏臉和生成的時候怎麼樣這個形象能不穿模，或者像膚色、胡子這種怎麼能更像真人。

除此之外，我們現在上傳的圖像是靜态的、單幀的，我們會要求用戶上傳正面的人臉外露的照片，那這樣捏出的形象是不全面的。比如也許我正面鼻梁高的效果是通過我的化妝技術達成的，我的鼻子原本是比較扁平的。為了解決這個問題，我們現在在做的是通過導入多角度的序列幀圖像，去生成一個更立體的捏臉結果。其他研究還有關于如何生成更自然的頭發方面的策劃。

頭發也是一個比較難攻克的課題，想要重建後的頭發做到百分百相似，需要解決很多問題，比如物理動效的問題，還有頭發構建出來是成片，成縷還是成發絲，這些不同的生成結果對于系統性能的要求也是不一樣的。在生成之後，它的物理動效，即如何讓頭發跟随你的狀态自然帶動，又是一個難題。目前我們的系統對于生成頭發還是以素材匹配的角度，去重構一個面數較少的相似發型，之後會再去向精度更高，跟随效果更好的方向疊代。我們需要明确現在産品階段的訴求和目标，去做一個清晰的規劃，帶動大家都往這個方向走。

未來，結合我們現在的ai、互聯網、虛拟現實和區塊鍊的技術，虛拟角色怎麼樣打破真實世界的隔閡，在虛拟世界中怎麼樣進行交流娛樂，如何讓我們更有沉浸感，這都是我們需要去探索的方向。我覺得我們在這方面有一個天然的優勢，就是娛樂是人們自然生發的欲望，是人們天然就會感興趣的、會去做的事情，所以沉浸式遊戲，可以說是元宇宙的第一步。雖然過程中可能會出現很多難點，但我們會盡力去推進它的實現，這不僅是我們的工作，也是世界未來的一個大方向。

（本文首發钛媒體APP，作者｜李如嘉，編輯｜天鵬）

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!