近日,快手特效團隊聯合Y-tech技術團隊為遊戲主播“俠客紅塵”打造了一款高真實感的虛拟人形象“紅塵”。“紅塵”已在快手帶來直播首秀,虛拟形象加上新奇有趣的玩法使得首秀直播吸引了近300萬人觀看,同時在線人數近5000人,漲粉近10萬。
直播間效果顯示,直播中虛拟人“紅塵”的面部動作和肢體動作真實感很強,在遊戲中的喜怒哀樂的情緒均能準确的表達,還可以自由切換發型和各種道具。此外還為“紅塵”配置了一些有趣的玩法,比如,在被彈幕噴“菜”時會氣得頭變大,在輸掉遊戲時會變出一個平底鍋來接鍋。
紅塵在直播時唱歌
據了解,紅塵在直播中運用了大量的2D和3D特效效果。在直播中,“紅塵”的頭頂有可愛的小鴨子,還能夠換上機車頭盔和小象頭套,甚至還能變成馬臉和一個電視機。帶着馬臉揮着平底鍋,跳着騎馬舞的誇張形象引起了直播間觀衆們“就離譜”的陣陣驚呼。
豐富的3D魔表效果
主播“俠客紅塵”表示,用了虛拟形象之後,和觀衆有了更好的互動體驗。“之前直播的時候我隻是打遊戲,即使在和觀衆互動時也主要是圍繞遊戲展開。現在有了虛拟形象後,能明顯感覺到大家在關注遊戲的同時,還能非常好地感受到我,感受到我的喜怒哀樂等情緒。”
據了解,在虛拟人“紅塵”這套技術完全由快手自研。獲得快手用戶喜愛的背後,實際上主播并不需要為此添置昂貴或者複雜的器材。應用快手的這套解決方案,主播隻需要單個攝像頭和普通電腦即可實時驅動虛拟人。
該項目的技術總監馬博士表示,這套方案包括3D掃描、動作捕捉以及實時渲染等技術,可在一個100元左右的攝像頭下,實時捕捉人的動态并幾乎無延遲地驅動虛拟人。這次虛拟人識别驅動技術為業内頂級,其中面部捕捉技術可以和蘋果arkit技術相媲美,而且并不需要采集深度信息。
據介紹,此次虛拟人驅動模塊根據真人識别信息,通過資産校準、反向動力學等算法模塊,轉化為連續穩定的資産動畫。系統中還使用了自動情緒增強模塊,通過自動識别的驅動者情感,對資産的面部表情動作進行自動調優,以使虛拟角色體現出更具表現力的情感。
資深算法工程師鄭博士表示,該項目在實時渲染效果上極大的接近了真實感,且在渲染效率上做了大幅優化,以能夠完美支持直播和短視頻場景。鄭博士還介紹,在高真實感的皮膚材質生成方面,快手運用深度神經網絡,将美術繪制的紋理進行風格轉化,通過該方法降低了美術素材的創建成本,同時提高了渲染的真實感。
該項目負責人表示,基于平台優質的直播和短視頻生态,未來快手還将推出千人千面的虛拟人服務,為創作者提供廣闊的發揮空間,也将面向C端用戶提供更多豐富的玩法選擇,歡迎對虛拟人感興趣的組織聯系快手。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!