在Quest和Quest 2推動下，手勢識别技術在VR遊戲等C端場景得到廣泛應用，你可以用手勢拼積木，或是用手直接混合魔藥、模拟各種交互等等。與手柄相比，手勢的優勢在于使用更靈活，而且沉浸感更好，直接上手體驗會比手柄按鍵更自然。

而在Quest支持手勢識别之前，實際上也會有VR頭顯通過Leap Motion等手勢識别模塊來實現手勢交互。在2019年，Leap Motion被體感方案商Ultrahaptics收購，合并成手勢識别方案公司Ultraleap，随後又推出了可集成于AR/VR頭顯的升級版手勢識别模組Stereo IR 170。

與Quest基于攝像頭的手勢識别方案不同，Ultraleap方案基于紅外傳感，好處是可以适應工廠等環境的亮度變化，目前企業級頭顯Varjo XR-3和VR-3已經配備該方案，此外還包括Lynx R-1、XTAL VR頭顯、高通XR2參考設計等等。近期，Ultraleap在官方博客中，進一步講述其手勢識别技術的設計原理，以及紅外光傳感的一些優勢。

紅外傳感器是最佳光學手勢識别方案？

Ultraleap指出，手勢識别的應用場景廣泛，包括操控汽車界面、遊戲娛樂、AR/VR體驗和培訓等等。在這些應用場景中，手勢識别技術需要足夠穩定和靈敏，才能為用戶帶來順暢無阻的體驗。此外，手勢識别需要足夠通用，可适應各種不同的環境和照明條件。

Ultraleap表示：紅外攝像頭可以适用于多種不同亮度的場景，因此在工廠、戶外等B端場景依然可以正常運行。考慮到這一點，B端VR頭顯Varjo XR-3内置了Ultraleap的紅外手勢識别模塊，可以為B端用戶帶來足夠穩定的體驗。

細節方面，Ultraleap的手勢識别軟件可以将傳感器捕捉到的原始數據（位置、方向、手速），轉化成實時的數字模型。理論上講，可以通過RGB攝像頭、GPS、激光陣列、LiDAR等多種傳感器來追蹤手勢數據，不過在實際應用中，Ultraleap發現基于紅外攝像頭和LED的方案效果最穩定、數據捕捉最可靠，更适應不同的光照環境。

為什麼選擇紅外方案？

Ultraleap表示：不管是Stereo IR 170手勢識别傳感器、Leap Motion模組，還是高通XR2參考設計集成的手勢識别模塊，它們均内置基于兩個紅外攝像頭和紅外LED的追蹤方案。

據了解，人眼對光線變化适應能力強，可識别的光照範圍也廣。相比之下，攝像頭大約隻能識别100種不同的亮度，這将大大限制光學手勢識别技術的性能，尤其是在環境光亮度變化大、難以預測的情況下。

為了保持光線環境的穩定，Ultraleap的手勢識别模塊内置紅外LED光源，紅外LED光線照到雙手後，光線反射回手勢識别模塊的紅外攝像頭中，實現基于光學數據的手勢識别。如此一來，便不用僅依賴周圍的環境光，從而可以保證比較穩定的光學追蹤。

光照條件可控

就像是人眼通過光線反射來識别周圍環境，紅外攝像頭也是通過識别光線反射來識别手勢變化，因此穩定的光照條件是關鍵。通過内置紅外LED光源，Ultraleap可以控制手勢識别所需的光照條件，實時補償環境光變化，提供一個可預測的光照環境。

從技術上講，采用LED可見光就足以實現手勢識别，但可見光照在手上可能會影響用戶體驗，幹擾用戶眼前的視覺或手勢交互，尤其是在光線較暗的場景中。比如：主題公園的山洞項目等等。利用紅外光傳感，既能保持手勢識别的效果，又足夠隐形，紅外LED光線隻有紅外傳感器能捕獲。

紅外傳感原理

與可見光相似，紅外光是一種電磁輻射。通常，電磁輻射在原子吸收和釋放能量的過程中産生。此外，電磁輻射可以根據波長來分類，可分為可見光、紅外光、紫外光、X光、無線電波等等。其中，紅外光的波長範圍在1000微米到760納米之間，比可見光更長，因此頻率更低，超出了人眼可識别的範圍。

紅外光的傳感與檢測是一項關鍵技術，通常會熱成像傳感器來識别到環境中發出的紅外線輻射，一個比較常見的例子是軍人使用的夜視鏡，以及一些監控攝像頭。一些電影院會采用支持紅外線熱成像的攝像頭，可以在黑暗的環境中持續監控。

此外，NASA發射的卡西尼号飛船就采用紅外攝像頭，用來過濾土星大氣透出的光線，可捕捉到傳統相機無法識别的一些信息。

實際上，與熱成像傳感器相比，Ultraleap的手勢識别模組并非識别人手發射的紅外線，而是利用強度可控的内置紅外LED光源來照亮人手，然後通過人手反射的紅外光來識别手勢。

Ultraleap表示：與視頻相機不同，紅外相機專注于識别特定的紅外光，因此基于紅外傳感的方案目的主要是識别重要的手勢信息。

體積足夠小巧

Ultraleap解釋，其手勢識别模塊的攝像頭并不會追蹤所有的紅外光，主要專注于850納米左右的電磁波，而這隻是紅外光譜中很窄的一段。

為了專注識别850納米左右的電磁波，Ultraleap在紅外傳感器上加入了一個方形的紅外濾光器，它的作用是過濾掉波長不是在825到875納米之間的電磁波。因此，Ultraleap手勢識别方案僅識别825納米到857納米之間波長的紅外光，這些紅外光是其LED光源照在人手上反射回的光線。

采用濾光器的好處是，可以過濾掉多餘的環境光，提升紅外成像的清晰度。據悉，這些環境光可能會讓紅外線成像産生過曝，從而影響紅外識别的效果。因此，僅識别有限波段的紅外光，更有助于識别手勢，讓紅外傳感器可以在黑暗空間中更清晰的識别動态手勢。此外，可控的紅外光傳感條件可提升手勢識别的準确性和在不同照明環境的通用性。

為了在不同亮度的環境中保持穩定的紅外線傳感，Ultraleap利用軟件來調節紅外LED強度，如果識别到環境光較暗，則會相應調暗紅外LED光源。另一方面，如果使用者的手移動緩慢，Ultraleap會降低傳感器的幀數。這種根據環境變化來調節的效果足夠靈敏，好處是可提升手勢追蹤的準确性，以及省電。

與Leap Motion Controller手勢識别模塊相比，Ultraleap的Stereo IR 170手勢識别模組提升了可追蹤範圍和距離。

除了上述細節外，Ultraleap手勢識别模組并不會持續發射紅外LED光，它的原理更像是閃光燈，從發射光源到傳感器獲得信号，整個過程足夠快速。而紅外LED閃光的頻率則是與傳感器的刷新率同步，因此在紅外傳感器每次采樣的瞬間，LED光源會同步打光。如此一來，又進一步節省了手勢識别模塊的耗電。

從手勢數據到3D建模

在捕捉到手勢數據後，便傳輸到Ultraleap攝像頭模組中的圖像傳感器中，該傳感器包含了數十萬個光學捕捉單元（photosite），這些單元可以将光子轉化成電子，然後再将電流轉化成數字光值，也就是像素。

接下來，傳感器捕捉到的數據轉化成像素并輸入到追蹤引擎中，然後在經過機器學習算法處理，軟件會實時輸出代表手勢信息的27個3D節點。然後，基于Unity或Unreal開發的應用可根據這27個節點來生成可交互的3D手勢模型，或渲染成其他模型。

比如，無接觸式界面方案TouchFree會将識别到的手勢數據轉化成用光标，讓你可以用手隔空控制菜單。而Ultrahaptics的超聲波體感反饋技術，則将手勢識别數據轉化成對應的超聲波體感反饋。參考：Ultraleap

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!