在一份新的研究報告中,谷歌詳細介紹了今年I/O大會上令人印象深刻的Project Starline演示的背後技術。Project Starline本質上是一個3D視頻聊天室,旨在提供真人面對面體驗來取代一對一的2D視頻電話會議。
Google這篇研究論文強調了欺騙用戶大腦,使其認為有一個真正的人坐在離用戶幾英尺遠的地方,這其中有不少挑戰。顯然,圖像需要高分辨率,沒有幹擾性的僞影,但它也需要從用戶的相對位置看起來正确。音頻是另一個挑戰,因為系統需要讓用戶聽起來像是從面對面真人嘴裡說出的話。然後還有一個小問題,那就是眼睛的接觸。
但是,Project Starline希望最終可以提供類似于虛拟或增強現實的存在感,而用戶不需要佩戴笨重的頭盔或追蹤器。該報告詳細說明了究竟需要多少硬件才能開始解決這些問題。該報告顯示,該系統是圍繞着一個大型的65英寸8K面闆建立,該面闆以60Hz運行。圍繞着它,Google的工程師們安排了三個"捕獲艙",能夠捕獲彩色圖像和深度數據。該系統還包括四個額外的跟蹤攝像機,四個麥克風,兩個揚聲器和紅外投影儀。總的來說,從四個視點采集彩色圖像,以及三個深度圖,總共有七個視頻流。音頻采集頻率為44.1kHz,編碼速度為256Kbps。
顯然,所有這些硬件都會産生大量需要傳輸的數據,Google表示,傳輸帶寬從30Mbps到100Mbps不等,取決于用戶衣服的紋理細節和他們手勢的大小。因此,它需要的帶寬明顯高于标準的Zoom電話,但是低于大都市地區典型辦公室提供的帶寬。Project Starline配備了四塊高端NVIDIA顯卡(兩塊Quadro RTX 6000卡和兩塊Titan RTX)來編碼和解碼所有這些數據。據報道,端到端的延遲平均為105.8毫秒。
根據Google的說法,在Google三個辦公室地點安裝了Starline系統,使用該系統的員工認為,在創造存在感、個人聯系以及幫助提高注意力和反應力時,它勝過傳統的視頻會議。該公司說,在9個月裡,117名與會者共舉行了308次會議,平均會議時間略高于35分鐘。這一切聽起來很有希望,但迄今為止,還沒有迹象表明該系統何時甚至是否會被商業化。目前,Google表示它正在在美國各地更多的Google辦公室當中擴大Starline項目的可用性。
,更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!