在今年Google I/O大會上，谷歌展示了一款3D顯示、實時視頻壓縮、空間音頻、計算機視覺、機器學習等技術的3D光場顯示方案：Project Starline。該方案的特點是，可顯示具有體積和深度的立體視覺，讓視頻通話體驗看起來更加生動，沉浸感更強。

近期，谷歌實驗室公布了該項目背後的技術細節，包括采用的攝像頭、紅外傳感器等硬件，以及如何在測試過程中，通過精準的視覺模拟來欺騙用戶的觀感。

簡單來講，Starline可以看做是一種專為面對面會議設計的雙向3D電話亭，它可以實時掃描使用者的3D形象，然後在另一端的光場顯示器上實時呈現立體的視頻圖像，這種立體視頻裸眼可觀看，無需額外的頭顯。此外，聲音也以3D空間音頻形式呈現，通話者的注視點也會實時追蹤和更新，看起來足夠真實。

因此，使用兩個Starline方案，便可以實現多人遠程3D通話。由于Starline本身也是一個光場顯示屏，因此你可以從多個角度查看視頻中的通話者，仿佛那個人就在一片玻璃後面那樣，你們甚至可以實現對視。

據青亭網了解，Starline包含三組立體雙攝像頭（每組包含一顆1600x1200 RGB攝像頭，以及一對1280x1024單色近紅外3D攝像頭），分别位于屏幕的下方和上方（左右兩側），此外還配備四個紅外投影儀模組，兩個紅外聚光燈，另外還有四個定位攝像頭（實時追蹤眼鏡、耳朵和嘴），四個RGB攝像頭（屏幕下方的一個RGB攝像頭對準脖子、面部和下巴，上方的攝像頭捕捉手勢、頭部和軀幹）。其中，Starline使用兩組立體攝像頭來捕捉使用者的面部和上半身形象，并實時生成3D模型。

配備如此多的傳感器硬件，Starline的成本也很高，因此目前僅在谷歌内部使用。從5月以來，該方案在谷歌辦公室的使用規模越來越廣泛，累計測試時間長達數千小時，應用場景包括入職談話、面試、介紹新同事、探讨業務、一對一協作等等。同時體驗者們也給出了積極反饋，尤其看好用Starline實現線上眼神交流的能力，并認為3D通話可以增強參與感，拉近任何人之間的距離。

初步測試表明，與傳統視頻通話相比，Starline改善了遠程通話的許多關鍵部分，比如注意力、記憶力和臨場感。一位體驗者認為，使用Starline來通話有點像是在咖啡廳聊天，可模拟逼真的面對面交流，通話的時候更容易靠近并關注對方。

3D視頻支持更多非語言交互

經過對比2D視頻通話與Starline的效果，谷歌得到以下發現：

谷歌測量了數百名員工使用Starline的體驗，發現與傳統視頻通話相比，3D通話的感覺更像是兩人在一個空間。其他發現：

• 1）通話者使用更多非語言交流方式，比如手勢使用率提升40%，點頭頻率提升25%，眉毛做表情次數提升50%；
• 2）使用Starline通話後，體驗者回憶談話細節和回憶内容時，記憶力提升近30%；
• 3）在眼球追蹤實驗中，谷歌發現通話者對于說話人的注意力提升15%，也就是說3D通話有助于提升視覺注意力。

關于系統設計

谷歌透露，Starline的設計目标是：

• 高分辨率、高幀率、色彩準确的真人大小圖像；
• 具備立體視覺和視差，可同時為左右眼分别動态渲染圖像，延遲足夠低；
• 對稱的視頻體驗，可實現延伸交流；
• 對稱的音頻體驗，音頻像是從說話人口中傳出；
• 無需眼鏡/頭顯、追蹤标記或領口麥克風；
• 用于長時間會議體驗感足夠舒适。

除了複雜的傳感器設計外，Starline還采用了一種基于圖像的全新幾何融合算法，以及聲源定位系統、空間去混響技術。

谷歌表示：随着遠程通訊技術發展，遠程通話變得更加保真、同步。目前，人們使用Zoom、Skype、FaceTime等應用進行視頻通話，但這種2D形式的視頻缺少臨場感。未來，具有臨場感的通話技術有望拉近人與人之間的關系，為跨國企業、社會團體帶來更好的遠程通訊體驗。不過，具有臨場感的通話技術面臨三大挑戰，即：

1）捕捉并渲染遠程用戶的3D視聽圖像，營造真假難辨的體驗感；

2）在具有視網膜分辨率、高視場角、立體視覺和運動時差的顯示屏中，實時運行3D視聽内容；

3）營造臨場感，給遠程通話者一種在同一空間面對面說話、靠近、互動、對視的感覺。

Starline還有效解決了3D視頻可能存在的僞影等視覺問題。谷歌表示：就現有技術而言，一方面2D視頻已經可以足夠清晰，而3D視頻通常會出現僞影、視覺輻辏調節沖突等問題，而且分辨率較低、追蹤延遲較高，因此3D通話體驗難以超越2D視頻。

而Starline則通過進行涉及的物理布局、照明、3D捕捉、色彩與深度視頻壓縮、渲染、顯示和音頻子系統，來營造一種具有臨場感的3D通話效果，消除通話者之間的距離感。

此外，Starline首次采用基于頭部追蹤的串音消除技術，給人一種聲音反複來自于遠程通話者嘴部的感覺。也就是說，聲音來源可以根據講話者的位置而移動。顯示方面，Starline利用基于圖像的幾何融合算法，将多種深度和色彩融合渲染。在3D人臉掃描部分，則是采用3D面部特征追蹤系統，結合2D面部關鍵點預測、3D散焦測量以及雙層指數濾波，來準确預測3D面部信息，采樣率可達120Hz。

更多細節

在3D視頻通話設計上，谷歌從多方面進行考量，他們認為相比于站立交流，坐着談話更舒适。而且，真人與虛拟圖像之間的距離大約1.25米，正好在标準的個人空間和社交距離之間，因此可以适用于各類社交或會議場景。

谷歌還表示：沒有選擇用AR/VR來實現3D通話，部分原因是因為現有的頭顯技術還存在重量、舒适性等局限，因此決定采用基于屏幕的系統，裸眼就能觀看3D。此外，市面上大多數VR頭顯的角分辨率小于20像素/度，而AR頭顯的視場角也不夠大，所以AR/VR頭顯無法在保證視場角同時顯示高分辨率。

于是，谷歌采用了一種支持頭部追蹤的，65英寸8K裸眼3D屏幕，其特點是包含3310萬顆RGB像素，刷新率可達60Hz。這個8K顯示屏可滿足對于顯示面積，以及分辨率的要求。另外，其角分辨率越大45像素/度（人眼與像素距離1.25米時）。

計算單元采用兩個帶有PCle的聯想P920 PC，采用4個NVIDIA顯卡（2個Quadro RTX 6000和兩個Titan RTX）。視頻刷新率達60Hz，面部追蹤和近紅外立體結構捕捉系統的刷新率則分别為120Hz和180Hz。面部追蹤可識别34個面部節點，追蹤延遲約33毫秒。

盡管如此，谷歌認為Starline在顯示和捕捉半透明、輕薄幾何形狀（頭發、眼鏡），或是深度凹陷、快速運動等效果時，可能會在重建深度圖中存在錯誤或漏洞，導緻幾何圖形和紋理渲染錯誤。未來，還将在這些問題上進一步優化。此外，未來3D視頻壓縮程度也将進一步提升，降低整體帶寬利用。

接下來，谷歌希望進一步開發Starline技術，并探索它對于遠程通話帶來的影響。也許，未來這項技術有望大幅優化遠程辦公場景，并在企業推廣。參考：谷歌

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!