導語

滿天都是小星星

去年12月，我有幸與騰訊虛拟偶像星瞳背後的運營團隊成員進行過一番交流，通過騰訊CDD虛拟人業務線負責人ice與騰訊QQ炫舞系列運營負責人Nina之口，我知道了IEG方面對于星瞳的投入與重視，同時也看到了騰訊在虛拟人業務上的強勢以及技術積累。

在那次采訪中，我曾抱着開玩笑心态給ice說“你看現在UE5測試版已經發布了，是否考慮叠代UE5？”，而ice真的一臉淡定的告訴我她們真的有在同步研究UE5的一些技術，并且準備應用在星瞳之上。

當時的ice并沒有告訴我外界看到這讓人興奮的東西具體需要多久，但我确實沒想到星瞳的UE5嘗試會來的這麼快，甚至比UE5正式版的發布還早了10天。直到後來我才知道，這短短49秒舞蹈視頻背後是星瞳團隊近4個月時間的心血成果。

“我們希望讓外界直到星瞳背後的團隊每天都在做些什麼，星瞳企劃具體是怎麼在運作，星瞳對于騰訊的大家意味着什麼，而騰訊的同學各自又在其中扮演着什麼樣的角色？”

ice這次不是一個人來，同時還有騰訊互娛内容生态部的總經理“光芒”，跟我一聊就是2個小時。

01

開場前的寒暄

茶館：兩位好呀，老規矩，請兩位先自我介紹一下吧。

ice：大家好我是ice，騰訊互娛内容生态部虛拟人業務負責人，去年和大家聊過星瞳的故事。今天的主角是光芒，我就負責暗中觀察啦。

光芒：大家好我是騰訊互娛内容生态部（簡稱CDD）的總經理，大家都叫我光芒。

茶館：光芒好，ice也别閑着沒事兒唠兩句不是（笑）。好了我們回歸正題，其實關于CDD很多讀者相信就算是不少業内朋友都會覺得比較陌生，這裡還是麻煩光芒簡單介紹一下CDD吧。

光芒：當然沒問題。CDD全稱Content Development Department，成立于2020年底，是隸屬于騰訊IEG事業群下的獨立部門，下面有虛拟人、虛拟制片等多個業務線，為騰訊IEG乃至整個騰訊各事業群提供内容制作技術相關的支持，對内扮演着内容制作中台的角色。

CDD作為一個單獨的部門，我們成立的定位就是希望探索遊戲引擎在非遊戲領域的應用，這裡面涉及很多過往我們并未嘗試過的技術點，也是嘗試将遊戲技術應用到不同的領域中，這其中包含了實時渲染、實時交互、CG和VFX技術、拟真以及其他傳統影視行業應用等。

這其中所需要的基礎能力是虛拟世界與真實世界在時間、空間上的對位問題，也是我們核心研究的課題， CDD的虛拟業務線主要就是解決這些問題。

茶館：這裡我有一個問題，也是我去年12月采訪後才想到的，當時我是認為星瞳是騰訊IEG内部多部門在協同沒有明确的歸屬，但目前看來CDD似乎是扮演着“主軸”?

光芒：主軸談不上，CDD、騰訊QQ炫舞項目組、騰訊人工智能實驗室（AI Lab）等等不同的部門都有明确分工，各司其職。

比如QQ炫舞項目組，因為星瞳誕生于《QQ炫舞》系列遊戲，所以炫舞項目組主要負責星瞳IP的定位、特殊節點星瞳的物料以及商務合作，并且星瞳也依然是《QQ炫舞》的虛拟代言人這一點是不會變的，而AI Lab在中國乃至世界的人工智能領域都有着極高的權威，所以像星瞳動捕數據修正、鏡頭算法的很多技術處理我們都會跟AI Lab積極溝通合作。

CDD負責的闆塊主要在内容策劃、直播運營、離線視頻等部分，所以從用戶的感受上來說，大家日常看到關于星瞳的部分，主要是CDD在負責的，但是還有很多大家看不到的背後工作，是由其他很多部門來合作的。

茶館：我的理解是，類似一些遊戲裡常駐卡池與活動UP卡池的相處狀态？你們是常駐，其他的一些部門是活動UP？

光芒：可以這麼理解。比如前期有部門支撐了某個模塊，随着項目的開展，這個模塊成熟應用以後，相關部門也就自動淡出了；相反，如果在項目運轉中我們需要其他部門的協同與幫助，那麼随時有可能就會拉對應的職能團隊加入支持，這個主要還是看星瞳這個項目的實際需求，當然從目前的情況來看，在直播闆塊所應用到的技術基本都是由CDD來負責的。

茶館：這個解釋很好，打消了我之前的一些困惑，好了那我們今天的采訪就算正式開始了。

ice：好，正式開始。

茶館：首先我想問問大夥最近都很關心的問題吧，其實這也是一直以來星瞳粉絲或者說外界都比較陌生的，因為技術，因為項目定位，甚至是因為騰訊對星瞳的很多東西存在一個似是而非的理解狀态，所以也希望借着這個機會好好聊聊星瞳企劃的一些故事，光芒你準備好了嗎?

光芒：當然，我們也希望多交流。

茶館：既然如此我先來個重量級的，作為虛拟偶像的星瞳和商業化之間的關系你們是怎麼看待和處理的？

光芒：是個好問題，也有很多小星星之前非常關心這個問題。

其實外界一直有聲音說，騰訊做星瞳這個項目就是做着玩，不在乎收益，事實情況不是這樣的，對于任何一個商業項目來說，都必然會有商業化的目标，隻是看目标到底是什麼，如何實現。

茶館：事實不是這樣嗎？(笑)

光芒：實際的情況是不管是星瞳這個項目還是CDD其他所負責的項目，都希望可以走上一條内容、商業都能成功的道路，特别是内容這種本來就難以證明什麼叫做成功的形式來說，商業化的收益都是非常有說服力的一項指标。

很多人包括一些業内人士都問我們說以星瞳這個項目投入體量基本上不太可能回本吧，真實情況也是這樣，星瞳的項目投入極大，有很多小星星包括業内人士也在猜測單場直播的投入有多少，我也看到了，但是不樂觀的說，目前星瞳的實際投入比大家的猜測還要大不少。

茶館：所以，你們是怎麼考慮這個問題的呢？

光芒：從去年開始我們就在思考這個問題，這期間我們捋清楚了兩個邏輯，簡單歸納就是通過成本控制與TOB型商業模式去打破這個商業循環。

成本控制這個很好理解，從去年開始就關注星瞳的粉絲肯定會有最直觀的感受，直播的整體效果在逐步提升，但是與大家感受相反的是，實際平均每場直播成本卻在逐步下降。

這其中涉及到我們在引擎端的功能、插件的開發，直播管線上的流程優化，單場人力投入優化、提升直播棚的使用效率等等。事實上，如果今天放到全行業來看，做一場星瞳同樣品質的直播，我相信CDD的成本會是市面上解決方案裡最低的。

随着星瞳影響力的不斷擴大，目前也有很多公司内外的客戶找到我們，希望由我們來提供工具、産品甚至解決方案，對于CDD目前看起來的最好的商業化模式，也是對外進行工具産品或者解決方案的打包售賣。

簡單來說，在虛拟人這條線上，星瞳可能會是個投入大于回報的項目，甚至在比較長的時間内都會持續這樣的情況，但這不代表我們不在乎星瞳的IP商業化收入，這并不矛盾，我們也在積極探索。另外，通過我們的技術解決方案，為虛拟人行業甚至是傳統行業提供我們的能力，來獲得商業回報，很快大家也會看到更多使用了CDD技術的虛拟人登場。

茶館：聽起來已經有元宇宙的感覺了，我看有不少小星星的評論裡提到了元宇宙。

光芒：事實上我們部門内部是不允許提“元宇宙”這個詞的（笑），目前這個詞還是太空洞了，不同的人對于這個詞的理解都不太一樣，這很容易造成内部溝通上的錯位，我們還是希望能把，虛拟和現實的空間時間對位、實時交互這兩項最基礎的能力給做紮實。同時我也希望工具人團隊是個踏實做事的團隊，不要浮躁，好的數據人人都喜歡，但好的數據應該是你認真做事所帶來的結果，而不是把好的數據當成目的，因為僅僅想要好的數據，那方法可太多了。

茶館：我覺得， 小星星們就隻聽了光芒這一番話就可以安下心慢慢閱讀後面的内容了。

ice：所以有一點小星星們可以放心的是，星瞳是CDD自成立以來最重視的項目，也會是CDD未來幾年内容策劃、技術實踐、商業探索上的核心項目。

02

積累經驗與解決問題

茶館：不好意思強行分了個段，光芒實在太能聊了。

光芒：不好意思，但是這才剛開始。

ice：冒泡防踢。

茶館：很多問題已經在前面得到答案了，所以我們不妨聊點稍微輕松點的話題，比如最近被小星星們大溜特溜的《TOMBOY》以及4月8日的“神回”，你們對這天的直播感覺如何？

光芒：其實這次技術測試回準備了很久，算是個階段性成果吧，對我們來說經過了8個多月，技術方面的準備總算是到了可用的程度。原本其實在技術測試回我們準備了很多新的技術點，但是在彩排過程中發現沒有達到我們的要求，所以臨時拿掉了，會在優化後再和大家見面的。很開心大家會喜歡這次直播，星瞳和整個工具人團隊都很開心。

茶館：差點忘了，恭喜千艦達成。

光芒：謝謝，我們也對4月8日整場直播進行了詳細複盤，開心歸開心，但也總結了不少問題。

茶館：對，我還是想問近期吵得特别熱鬧的一個話題，就是“導入引擎的到底是什麼數據呢？”

光芒：最近這個問題有不少朋友是比較關心的，小星星們也很關心（笑），簡單來說導入引擎的數據是未經處理或者自動簡單清洗後的骨骼體數據，當然這麼說很多人會不太理解，這其中涉及到CDD在星瞳直播的運轉機制。

茶館：具體運轉機制指的是什麼呢，比如彩排？彩排的環節對于星瞳的直播來說是必要的嗎?

光芒：在正式的直播過程中，整體管線說起來是比較簡單的，通過光學動捕收集到的數據直接發送到我們現場渲染機中，然後所有渲染機的畫面彙入到導播台中，最後經過導播台進入錄機中然後推流，也就是大家最終所看到的畫面。

當然，你提到的彩排也是非常必要的，這次我們也放出了彩排的花絮，其中的“靜電”并不是節目效果，其實是頭發結算上的bug，類似這樣的bug在彩排過程中我們發現了50多個，可重現隻有10來個，也就是說還有非常多的bug我們無法重現，也就無法保證在正式直播的穩定性，解決這些問題是比較頭疼的，所以其實細心的小星星也會發現，在正式直播裡星瞳的頭發是沒有彩排的時候那麼蓬松的，正式直播前我們調低了相關的參數，算是為了直播效果的穩定做的妥協。當然在技術測試回的正式直播中，也依然還是出現了不少bug的。

我前面講到的那個流程，是基本的大體管線，但因為直播内容的不同使用的設備也會調整，相應的現場布局與安排就會發生變化。4月8日的UE4測試直播，CDD團隊一共用到了超過20台渲染機來保證整體效果，其中有部分鏡頭的渲染機是一主一備冗餘配置的，如果出現問題會立即做切換。

茶館：我是外行，但我想知道20台渲染機采集數據是什麼概念?

光芒：我不知道其他虛拟人團隊是怎麼做的，但是我理解20台渲染機并不算是個很值得拿出來講的地方。

渲染機的問題先放一放，後面在鏡頭環節裡我會提到。實際上在這8個多月的直播過程中，我們解決了幾大類問題。因為不同于傳統真人直播，3D虛拟偶像在虛拟環境下的直播有着非常多的難點，主要有：

第一是動捕。其實動捕技術算是整個管線中技術比較成熟的了，但是在直播中應用動捕，最大的難點還是如何剔除掉“髒數據”，包括丢點、掉點或者抖動，這是目前無法避免的技術問題，而且十分影響觀感，初期我們隻能告知星瞳盡量避免做一些會造成人物穿模的動作，現在我們能通過軟件升級和算法的方式做到骨骼體數據的盡量精準。

第二是鏡頭。在中秋回直播的時候，我們在運鏡上出比較嚴重的問題，其實在傳統節目制作中是有細分的“導播”這個崗位的，我們當時并沒有，所以在生日回，我們請了傳統經驗豐富的導播來配合，并且調了一台專業導播台進棚，解決了“傳統導播不會操作引擎，操作引擎的工具人不擅長調度鏡頭”的難點，各自發揮特長，大家都很舒坦。

我們在現場配置了兩大類攝影機，一類是真實的攝影機，通過關聯引擎内的虛拟攝影機，将空間位置信息、光圈、焦距等數據傳遞給引擎，再由引擎渲染對應的畫面。這些真實攝影機，我們配備了3台，分别是搖臂、遊機和固定機位，搖臂是之前萬子姐提到的那台，我們也請了專業的傳統攝影師來操作，當然為了優化成本，我們也不會每場直播都請導播老師或者攝影老師。（笑）

另外一類攝影機是引擎裡的虛拟攝影機，這也能充分發揮虛拟直播的優勢，事實上從生日會開始，我們意識到虛拟攝影機的控制方面，我們遠遠不如asoul做得好，由于星瞳在生日會前都是一個人在直播的，所以我們沒有開發綁定在角色身上并且自動跟随角色的鏡頭，這個問題到了生日會聯動的時候才被發現，因為萬萬和冰糖來了以後，要即時給到某一位鏡頭是實現不了的，後續我們也立即做了專項的開發。

多個鏡頭通過多台渲染機渲染，彙入導播台，由導播老師做畫面切換，這就是我們常用的解決方案。當然這裡就牽扯到多個機位之間畫面同步的問題，這個問題在現實世界是不太會出現的，因為在現實世界裡時間線是單向的，但是在虛拟世界裡，由于不同渲染機的渲染時間并不一緻，因此如果大家仔細看的話也會發現，星瞳複雜的舞蹈或者時長較長的舞蹈前都會有一個空間及鏡頭對位的過程，同樣的，在舞蹈結束後回到主渲染機上的也會重複這一過程。

第三是渲染效率的問題。這個問題比較複雜，涉及的面也比較多，其實和大家猜測的不一緻，我們渲染機所使用的顯卡是3090，我們也嘗試過使用a6000這樣的專業顯卡，但是效果并不理想，容易出現衣服、頭發結算失效的問題，這裡面還涉及到驅動層面的開發，所以我們還是使用的3090，并且每一台渲染機都是獨立運轉的，并沒有采用集群渲染或者雲渲染的模式。這對整個工程的性能提出了非常大的挑戰，因為至少要保證40-50幀的渲染效率，所以無論是模型、綁定、解算、場景地編、燈光、TA各個模塊的同學都需要一起來解決這個問題，拿這次的頭發舉例，這次的頭發一共做了20多版，最終這一版使用了9000根頭發，觀感和渲染性能上能達到比較好的平衡。從目前優化的情況來看，我們目前的渲染技術能做到星瞳這樣精度模型，在同場景下3-4人的實時渲染。

第四是燈光，舞台表演是無法離開燈光的，當然目前我們還是用的比較笨的辦法，就是在引擎裡操作燈光，事先編排燈光序列，但是這對舞蹈彩排的難度提升了不少，如果你仔細看是能看出十連跳的某段舞蹈中燈光出現問題的狀況，未來的規劃是通過我們在虛拟制片上的燈光方案來解決，這樣燈光工具人也可以通過燈控台來實時調整燈光了，比如星瞳覺得這個面光太暗了，燈光工具人可以馬上推上去，而不是在引擎裡去調試。當然燈光也牽扯到渲染效率的問題，這裡就不展開講了，确實在較早直播過程中，也因為燈光問題造成某些渲染機的性能極劇下降的情況。

哎呀，一口氣講了這麼多聽起來很晦澀的内容，我收一下再回到“為什麼需要彩排”的問題其實就很好理解了。

茶館：所以彩排其實不僅是為直播負責，同時也能看作是你們在這個過程中對團隊的無數場反複試煉。

ice：對于星瞳與CDD團隊來說，這确實是最好的發現問題與解決問題的方式之一。

當然還有很多待解決的問題，比如實體鏡頭的防抖問題等，這些問題需要依靠虛拟制片的技術一起來解決。

茶館：真不容易，我相信不管是部門内部還是對于觀衆而言，大家都能明顯感覺到星瞳身上的技術越來越成熟，這些都是長期不斷持續積累的下來的結果。

光芒：我認為這些經驗對我們來說是個很好的沉澱，當然技術隻是一方面。

其實看看我們部門的名字叫做内容生态部，而不是内容技術生态部，我們認為内容包含兩個模塊，前段是内容策劃，後段是技術。必須在内容策劃，或者内容創意上做得好，再加上足夠好的技術來表現才能呈現最好的内容，這兩者缺一不可。好在這兩者都是一個逐步積累的過程，我們也逐漸摸到了一些方向，後續我們也會啟動星瞳的故事叙事，以及新一輪美術風格上的優化了。

在前面介紹CDD部門願景的那裡我也提到了，CDD是希望用遊戲引擎去探索遊戲與非遊戲領域應用，這裡面如果細分的話，其實有各種不同的應用，包括虛拟人進入現實世界，虛拟人在虛拟空間，真人進入虛拟空間等多種不同的組合，各自代表着不同領域與技術方向的探索。

所以，包括星瞳在内的CDD部門所有項目，我們都在不斷去嘗試解決這其中的共性問題。

茶館：那我真的很希望，能夠盡早看到那麼一天。說到這裡，我有個問題想問，星瞳那個UE5的視頻你們做了多久？

光芒：前後算起來大概有三個多月的時間。

茶館：這麼久?

ice：這裡我說兩句，因為UE5到現在正式版也剛剛上線，它現在還不是一個非常穩定的商用狀态。

光芒：ice說得對，CDD之前在UE4管線上大概花了8個多月的時間，跑通UE5管線需要的時間可能會比這更長，很多東西都要從0開始，包括有非常多硬件接口需要重新适配、模型資産的重新制作，事實上這次UE5的視頻裡的模型是全部重新制作的，所以才花費了這麼久的時間，但是實際來說UE5我們還沒有吃透，現在還僅僅是預研階段。

茶館：雖然但是，我先放個桃子在這裡不過分吧。

光芒：我們其實比大家更希望能盡快用上UE5，敬請期待吧。

03

虛拟制片與CDD與IEG

茶館：聊到這裡，相信讀者對星瞳背後工業化制作邏輯已經有相當深刻的了解了，那麼能不能講一講CDD在虛拟制片這塊的能力，我聽說CDD或許是目前國内遊戲企業裡最懂虛拟制片的團隊。那麼研究虛拟制片這麼久，CDD對于虛拟制片最大的感受是什麼?

光芒：“最懂”真的不敢這麼說，傳統影視行業也探索了幾年，隻能說我們在LED虛拟制片做得比較早，在部門成立之初就立項了。

這項技術和星瞳的虛拟人直播技術還略有一點差異，所見即所得是虛拟制片的優勢，制造一個虛拟的環境，達到以假亂真的效果。由于虛拟制片技術解釋起來比較複雜，還是看一個短片吧，比較容易理解，這是我們部門今年年會制作的内部測試片，在後半段有拍攝花絮，整段片子都是在LED虛拟拍攝棚拍攝的，能很好的展現這個技術的應用場景。

這些視頻裡的場景，除了人與近景是真實的，整個背後的場景都是虛拟的，高挂的月亮、遠處的大樹、下雨的特效，能解決一些時間或者空間上特别難拍的鏡頭。比如日落在真實世界中隻有約20分鐘，但在虛拟制片棚裡，你可以拍一整天的日出日落。

茶館：真不錯。其實我看過一些UE官方發布的視頻，裡面提到了一個叫做“可視化”的概念，這個概念應該如何理解？

光芒：其實就是所見即所得。

傳統的制片環境下，現場拍攝與後期是分開的，如果這個片子涉及很多特效，那麼就會非常考驗演員以及導演組的個人功底，因為其沒有身臨其境的感覺，需要依靠想象與台詞調動情緒，如果後期特效制作過程中發現某個鏡頭或者什麼不對，那麼大概率你需要重拍。

而在虛拟制片的環境下，将資産與特效前置，不管是導演還是演員都能實時感受接近成片的現場效果，這個效率太高了，對于任何一個工業級産品來說，所見即所得都是令人興奮的。

茶館：所以，除了在影視上，虛拟制片目前在其他領域有哪些比較成熟的使用案例?

光芒：發布會、音樂會、各種大型活動都是非常典型的應用場景，因為虛拟制片可以把原本一個舞台的束縛給打破，将背後的空間擴展成你希望呈現的樣子，可以是雪地、可以是沙漠、甚至是太空。

再來就是虛拟人，這個把星瞳項目上我們積累的相應能力再應用到虛拟制片中，但我們的期望遠不止這些，我們希望能夠更多借助于虛拟制片的技術去實現真人與虛拟人在同一空間下的完美互動，包括真人與虛拟人交接物品、眼神對位、物品交互等等。

ice：其實前段時間的冬奧會特别節目《赢戰冰雪》也算是一次嘗試，星瞳作為嘉賓與龐清佟健老師互動，由于疫情的影響，星瞳和工具人在這次直播中無法到達北京，因此在這種極端情況下，星瞳在深圳直播棚内完成動捕，傳輸給騰訊視頻的北京演播廳，然後再用渲染機輸出合成。

茶館：最後，聊聊遊戲吧。其實作為IEG旗下的部門，我驚訝的發現到現在為止我倆沒怎麼讨論到遊戲，那麼對于IEG的遊戲業務來說CDD部門作為技術中台可以做到哪些？

光芒：對内隻要有需求，CDD就會提供支持，事實上IEG目前的很多工作室很多項目都和CDD有合作，這些合作裡有虛拟人項目，也有基于遊戲制作的，甚至發布會、各種舞台表演我們都有提供協助。

不僅如此，對于CDD來說是開放的，虛拟技術的核心是交互，而遊戲引擎由于具備實時渲染和實時交互的能力，在影視、虛拟交互、拟真等各方面都具備比較明顯的優勢，也是我們主攻和擅長的方向，因此我們這項能力也不是僅僅服務遊戲的。

CDD的能力還面向全行業，包括傳統行業，對外我們也廣泛在進行合作，包括虛拟人行業，相關的需求我們也會有選擇性的承接相應業務，這對我們商業價值的實現也很有幫助，商業回報才能使得這個業務持續健康的發展。

茶館：最後的最後，給一直以來陪伴的小星星們說點什麼吧~

ICE：小星星們對這個企劃而言是非常特别和重要的存在，星瞳的成長是我們一起努力的結果，真的非常謝謝大家。

光芒：非常感謝小星星對星瞳的喜愛和陪伴，希望不辜負這份熱愛。

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!