讀創/深圳商報記者 董思

近日，虎牙公司推出“全方位3D虛拟形象AI驅動”方案，并在虎牙直播開播端上線了實時驅動3D虛拟形象開播功能。

據了解，該方案為直播行業首個基于消費級攝像頭的3D虛拟形象面部、肢體、手勢全方位驅動解決方案，可以讓消費級攝像頭完成精準的動态識别與捕捉，提升虛拟形象動作的還原度、表現力。

近年來，虎牙在實時内容創作與直播互動技術方向持續發力，該方案推出将有助于降低高質量内容生産門檻，提升直播互動體驗與用戶粘性，推動虛拟直播互動模式創新，讓高質量虛拟形象直播普惠更多主播。

（實時驅動3D虛拟形象開播效果）

破除行業難題，虎牙以普通攝像頭實現3D虛拟形象驅動效果

虎牙公司AI技術負責人許佳表示，目前，虛拟形象直播仍處于探索初期階段，絕大多數主播在直播時對虛拟形象的驅動隻局限于面部表情，且精準度有限。極少部分主播會選擇昂貴的動捕/光捕穿戴設備捕捉人體姿态，用于虛拟形象直播。雖然這一方案效果好、美感高，但設備、制作、學習成本更高，普通主播難以承擔。因此，虎牙希望通過AI技術降低開播門檻，讓主播能以普通電腦 攝像頭進行虛拟直播，并保證虛拟形象驅動的精準度和還原度。

為推動虛拟直播“内容升級、生産降本”，虎牙于近日推出了自研的“全方位3D虛拟形象AI驅動”方案。據了解，該方案基于普通單目攝像頭或視頻輸入幀來驅動3D虛拟形象的面部、肢體、手勢手指動作等，是全方位的無穿戴3D虛拟形象的驅動。

更精準、更逼真、低成本、低延時等，是該方案的另一大優勢。例如，通過攝像頭采集的視頻輸入精準地對主播的人臉和肢體的三維結構進行重建，以此作為虛拟主播的驅動信号，讓其動作更加自然逼真；通過虎牙自研的AI模型和推理框架，提升模型性能，實現低功耗、低延遲，使虛拟直播真正适用于消費級硬件。 此外，該方案與直播平台特性、直播場景高度契合，通過輕量化實時驅動，主播在虎牙直播PC端能“即點即用”；直播間中，用戶的行為也可觸發虛拟形象實時反應，提升互動感、增加趣味性。

“AI 直播”潛力仍待挖掘，應用場景多元化為行業帶來想象

值得一提的是，“全方位3D虛拟形象AI驅動”方案中用到了虎牙諸多關鍵AI技術，如面部捕捉、肢體驅動、動畫重定向、多任務學習等。據統計，目前虎牙在相關技術上的專利申請已達到13篇。

虎牙上述方案和功能推出後，收獲了來自媒體、用戶的好評。在剛剛結束的2021 ChinaJoy上，虎牙虛拟形象驅動技術獲央視直播報道。不少主播、用戶表示，“使用門檻低，虛拟形象逼真，這樣的虛拟形象直播才親民。”

在許佳看來，“當前‘AI 直播’的場景化落地剛剛開始，未來，虎牙将繼續深挖AI在直播場景中的落地，幫助主播更高效地生産更有趣的内容，持續為用戶創造沉浸式直播互動體驗。”

展望虛拟直播未來，大幅降低高質量内容生産門檻，持續縮減虛拟世界與現實世界的内容消費體驗差距，将成為行業趨勢。與此同時，随着AI等技術的應用場景日益多元化，如互動遊戲、短視頻制作、PGC動畫生産等，或将為行業帶來更多想象。

審讀：喻方華

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!