（映維網Nweon 2022年08月18日）允許用戶在AR/VR應用中與3D對象進行自然交互具有優勢，因為它對應于用戶與現實世界中對象的交互方式。但是，與手臂夠不着的3D對象交互可能十分困難。對于這種情況，特别的“超自然”交互方法可能更為适合。

另外，盡管近距離交互可以用手直接操縱數字第項來實現，但用戶同時必須能夠與距離用戶較遠的數字對昂進行交互。

對于這一點，行業已經提出了各種方法來幫助用戶與一定距離的虛拟對象進行交互，例如用戶可以執行手勢來與遠程對象交互，或者可以調用用戶界面（UI）來幫助用戶對遠程對象執行命令。但對用戶來說，精确控制遠距離對象的零件或點可能依然是一項挑戰。另外，如果與遠距離對象交互涉及擡起和/或伸出手和/或手臂，則用戶可能會經曆肌肉疲勞。

考慮到相關的挑戰，微軟在名為“Near interaction mode for far virtual object”的專利申請中提出了一種通過顯示虛拟啟示來促進用戶與遠距離對象的交互。

圖1顯示了示例性計算系統10。計算系統10可以包括頭戴式顯示器設備14，其可以包括手勢識别模塊24、視線檢測模塊26和自然語言處理（NLP）模塊28，如圖1所示。

視線檢測模塊26可配置為處理由朝内攝像頭30收集的圖像數據，以識别每個用戶眼睛的位置和方向，并随後生成眼動追蹤數據。姿勢識别模塊24可以配置為通過處理由朝外攝像頭32收集的用戶的圖像數據來識别由用戶表達的姿勢和姿勢。NLP模塊28可以在麥克風34處接收經處理的自然語言（NL）輸入，進一步通過分割句子、标記詞類以及提取命令和與命令相關聯的對象的名稱來處理NL輸入。

參考圖3，處理器12可以配置為在顯示器16上至少部分地在用戶的視場50内顯示虛拟對象48。處理器12可以配置為識别與虛拟對象48相關聯的多個控制點52，并确定與虛拟對象48相關聯的一個或多個控制點距用戶的距離超過預定阈值54。例如在圖3中，十二面體被描繪為虛拟對象48。可以觀察到十二面體的控制點52都在距用戶的預定阈值距離54之外。應當理解，距離54可以是相對于用戶的各個部分.圖3描繪了相對于用戶肩部測量的距離54。在其他實現中，可以從用戶身體上的另一點測量距離。

基于所述确定，處理器12可配置為調用虛拟對象48的遠交互模式。在遠交互模式下，用戶可執行預定手勢，例如指向虛拟對象48、捏、刷等，從而選擇虛拟對象48。下面将更詳細地讨論通過虛拟射線60選擇虛拟對象48。通常在遠程交互模式中，與虛拟對象48的可用交互可能受到限制，并且在由于虛拟對象顯示的距離，可能僅包括遠程情景菜單的選擇、移動、調整大小和顯示。由于交互的距離，虛拟對象48的移動和大小調整可能在某種程度上具有挑戰性。

應當理解，虛拟對象48的位置可以使得控制點52的一部分或子集位于阈值距離54内；然而，如果系統10确定距離54之外的控制點52的數量大于控制點52預定阈值子集，則可以調用遠交互模式。預定阈值子集可以是一個控制點，或者控制點的最小百分比，例如10%、25%、50%等。可以理解，遠程交互模式可以在大量控制點52超出用戶的能力範圍的情況下調用，因此對于用戶來說可能難以控制或煩人。

在遠程交互模式下，處理器12可配置為從用戶接收觸發輸入56。如圖1所示，觸發輸入56可由頭顯設備14中的一個傳感器29檢測。觸發輸入56可以包括預定義手勢、包括自然語言的語音命令、注視方向和/或眼動運動中的至少一個，因此可分别由朝外攝像頭32、麥克風34或朝内攝像頭30檢測。在圖3中，用戶的手勢是觸發輸入56，在本例中，所述觸發輸入56描述為捏手勢。

返回圖3，響應于在遠交互模式下接收到觸發輸入56，處理器12可配置為調用近交互模式，并在距用戶預定阈值距離54内顯示虛拟交互對象58。在一個特定示例中，在近交互模式下顯示的虛拟交互對象58可以是控制小部件66。控制小部件62可以是虛拟對象48的大小調整副本，并且所有控制點52可以在用戶的視場50内和預定阈值距離54内。圖3示出了所述實現的示例，其中作為虛拟對象48的十二面體由虛拟交互對象58形式的調整大小的副本表示。

在圖4A-4C中，處理器12可以進一步配置為在從用戶接收觸發輸入56之前的遠交互模式中，從用戶的手生成虛拟光線60，虛拟光線60相對于用戶的手的移動被鎖定。在圖4A的頂部表示中，虛拟光線60被示為源自用戶的手。虛拟光線60可以延伸到VR或AR環境中預定距離。當用戶移動她的手時，虛拟光線60可以按照用戶的手的指示移動。

響應于虛拟光線60在被用戶的手移動時與虛拟對象48相交，處理器12可以配置為接收用戶對虛拟對象48的選擇。例如，如果用戶将虛拟射線60保持在虛拟對象48上超過預定阈值的時間，例如超過兩秒，則處理器12可以配置為選擇虛拟對象48。或者，當虛拟光線60與虛拟對象48相交時，用戶可以執行額外的步驟，例如發出命令“選擇”，以完成對象選擇。在圖4B的中間表示中給出了虛拟對象48的選擇示例。

經由虛拟射線60，處理器12可以配置為根據用戶的手的手勢執行對虛拟對象48的控制。觸發輸入56可由用戶相對于虛拟光線60執行，以調用近交互模式并在距用戶的預定阈值距離54内顯示虛拟交互對象58。圖4C的底部表示中給出了一個示例。在所述示例中，用戶執行捏手勢形式的預定手勢作為觸發輸入56，從而調用近交互模式，并在距用戶的預定阈值距離54内啟動虛拟交互對象58的顯示。應當理解，預定手勢可以是除捏手勢之外的手勢，例如抓取手勢、點手勢、輕敲手勢等。

在另一種實現方式中，為了響應由于用戶手的移動而與虛拟對象48相交的虛拟射線，處理器12可以配置為在遠交互模式下相對于虛拟射線60生成虛拟手柄74，虛拟手柄74靠近用戶的手。圖4B的中間表示描述了所述實現，其中當虛拟光線60與虛拟對象48相交時，生成球形節點作為虛拟手柄74。處理器12可進一步配置為在虛拟手柄74處接收來自用戶的手勢，該手勢是觸發輸入56。再次參考圖4C中的底部表示，觸發輸入56是按壓手勢，

虛拟交互對象58可以是處理器12配置為生成的多個不同類型的虛拟交互對象之一。另外，觸發輸入56可以是多個可能的觸發輸入56之一，每個可能的觸發輸出56都是相應的手勢，每個手勢與多個虛拟交互對象58中的一個虛拟交互目标58相關聯。

圖6的示例顯示了兩個虛拟按鈕，它們可以是虛拟内容的滾動機制。這種配置的一個優點可能是在用戶夠不到的距離處滾動虛拟内容可能十分困難。因此，用戶可以如上所述調用近交互模式，并在用戶的手附近生成滾動機制的顯示，從而簡化滾動虛拟内容的操作。

在如圖7所示的附加示例中，用戶可以在VR或AR環境中使用一個或多個窗口。用戶可能希望調用上下文菜單68。在這種情況下，用戶可以執行長按作為觸發輸入56，以便情景菜單顯示為用戶手附近的提示。應當理解，情景菜單68可以附接到虛拟對象48，所述虛拟對象48是用戶與之交互的虛拟窗口。這種配置的優點可以是情景菜單68的可讀性得到改善，并且相對于靠近用戶手的虛拟交互對象58進行精細移動/選擇的能力更強。

參考圖8，虛拟對象48可以延伸到用戶視場50之外，并且與虛拟對象48相關聯的至少一個控制點52可以在用戶視場50以外。在這種情況下，觸發器輸入56是食指從較高位置移動到較低位置。應該理解，用戶可以訪問或不訪問虛拟射線60。換句話說，處理器12可以配置為在不生成虛拟光線60的情況下識别觸發輸入56。例如，處理器12可将觸發輸入56解釋為分配給虛拟對象48。

在圖9所示的另一示例中，用戶可能正在AR環境中接近大型虛拟對象48，如圖9所示的車輛或建築物。随着用戶更接近虛拟對象48，大型虛拟對象48可以被用戶選擇為虛拟交互對象58，并且因此為了方便用戶而減小尺寸。應當理解，虛拟交互對象58的生成和顯示可以根據系統10的設置自動發生，因為更多的控制點52在用戶的視場50和/或預定阈值距離54之外。

顯示在距用戶預定阈值距離54内的虛拟交互對象58可以相對于用戶鎖定在适當位置。距用戶的預定阈值距離可以在460mm至580mm的範圍内（通常從用戶的肩部測量）。

通過上述方式，微軟提出的方案可以幫助用戶更輕松地與遠距離對象交互。

相關專利：Microsoft Patent | Near interaction mode for far virtual object

名為“Near interaction mode for far virtual object ”的微軟專利申請最初在2022年4月提交，并在日前由美國專利商标局公布。

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部