Oculus Quest 手部追踪技術的工作原理
已發表: 2021-03-11Oculus Quest(原始模型和第二模型)有一段有趣的歷史,即在硬件出現後很久才添加功能。 其中最著名的是 Oculus Link,它有效地將 Quest 變成了 Oculus Rift。 這個功能非常成功,以至於 Oculus 決定停止除 Quest 之外的所有頭顯。
手部追踪並沒有像 Oculus Link 那樣引起轟動,但它仍然是一個具有很大潛力的驚人功能。 通過手動跟踪,您根本不需要控制器。 你自己的雙手被數字化進入了 VR 世界!

如果您有 Quest 或正在考慮購買,那麼有必要了解手部追踪的工作原理以及它可以為 VR 體驗帶來什麼。
Quest 如何追踪世界
Oculus Quest 使用一種創新的運動跟踪方法,通常稱為“由內而外”跟踪,這與過去的運動跟踪工作方式大不相同。
在 2010 年代中期發布第一款下一代頭顯時,它們使用了一個或多個外部跟踪攝像頭。 頭顯上的特殊運動跟踪燈可以準確地告訴相機頭顯相對於它的位置。 通過一些巧妙的數學運算,這些數據可以轉換為 3D 空間中非常精確的運動跟踪。 這就是高級 VR 耳機如何提供“六自由度”,也稱為 6DoF。

Quest 將攝像頭傳感器移動到耳機本身,在這種情況下將它們放置在設備上的關鍵位置。 其他頭顯可能會使用更多攝像頭來提高準確性。 這四個攝像頭讓 Quest 觀察您周圍的真實世界,並確定您在該空間內的位置。
這就是使 Quest 能夠獨立和便攜的原因。 這也是首先允許使用 Oculus 進行手部跟踪的功能。
標準 Oculus Touch 控制器
要了解是什麼讓 Oculus 手部追踪如此令人印象深刻,我們必須從 Oculus Quest 附帶的相當普通的物理控制器開始。 每一個都由內部傳感器和特殊的運動跟踪標記進行完全運動跟踪,這些標記告訴 Quest 的板載攝像頭控制器相對於耳機的位置。
當您在 VR 中握住觸摸控制器時,它們會以驚人的準確度進行跟踪。 使用控制器上的手柄和触發按鈕,VR 軟件可以創造令人信服的抓取和操縱物品的體驗。 這在半條命 Alyx 和 The Climb 等遊戲中非常有用,在這些遊戲中,VR 世界中的抓握物品是遊戲玩法的核心部分。

由於稱為“線性致動器”的設備,觸摸控制器還提供觸覺反饋,它可以產生碰撞物體、振動和其他觸摸感覺的物理感覺。 當您無法在真實空間中實際移動時,拇指桿和按鈕還提供了一種熟悉的方式在 VR 空間中移動。
與手動跟踪相比,此方法的主要缺點是您有手鉤。 您可以使用虛擬手執行簡單的捏合動作,但僅此而已。 當遊戲圍繞控制器進行設計時,這並不是一個主要的限制,但手部追踪在 VR 中開闢了一系列新的可能性。
Oculus 手部追踪功能
啟用手部跟踪後,您將在 VR 世界中看到真實手部的準確表示。 您的手指或手腕的每一個動作都會反映在他們的虛擬分身中。


手部追踪不再是 Quest 的測試版功能。 它現在已集成到操作系統和許多第一方 Quest 應用程序中。 這裡的第一個主要好處是,如果你只是想快速穿上你的 Quest 並在 VR 中觀看電影或瀏覽應用商店,你不必費力地綁在觸摸控制器上。 只需用手,您就可以訪問系統菜單並輕鬆導航。
既然手部追踪是 Quest 的一項官方功能,第三方應用程序開發人員可以將其添加到他們的應用程序中。 已經有許多應用程序很好地利用了 Oculus 手部追踪功能,但我們相信開發人員會找到更多令人興奮的方式,直接手部追踪可以改變 VR 體驗
Oculus 手部追踪的工作原理
手部追踪的結果非常驚人,但它實際上是如何工作的呢? 顯然,Oculus 不會公佈其專有解決方案的確切細節,但我們確實知道所涉及的技術和原理。
首先,車載攝像頭對於進行手部跟踪至關重要。 它們不僅提供立體深度信息,還提供用於機器視覺處理的視覺數據。 什麼是機器視覺? 它是人工智能的一個分支,特別是一個被稱為機器學習的領域。 該技術可讓您手機的相機應用程序快速識別照片中的人臉。

本質上,軟件必須了解相機提供的圖像數據中哪些是手,哪些不是手。 這可能是通過向軟件展示不同環境中的成千上萬隻手來完成的,直到它能夠可靠地找出一種快速有效的方法,將它們與房間中的其他東西區分開來。
一旦該軟件可以為您的手創建準確的實時虛擬模型,應用程序開發人員就可以將它們用於他們能想到的任何事情。 您現在可以在 VR 中精確操作對象!
值得嘗試的手工追踪體驗
如果您擁有 Oculus Quest,則無需購買任何特定應用即可試用 Oculus 手部追踪功能。 如上所述,它適用於主要的 Quest 環境以及一些第一方應用程序。 談到第 3 方體驗時,有一些值得強調的地方。

The Line 是一款 4.99 美元的敘事體驗,也是手部追踪的完美技術演示。 它講述了一個在發條和軌道上運行的比例模型城鎮的故事。
我們的英雄佩德羅愛上了羅莎,但他無法逃脫命運。 直到有一天新的事情發生。 您可以通過用手轉動旋鈕、拉動槓桿和擺弄所有可能的東西來與他們的比例模型世界互動。 這是一種線性的、短暫的體驗,但可以在大約 15 分鐘內以非常有趣的方式展示手部追踪。

Waltz of the Wizard(9.99 美元)是該技術的另一個出色展示。 您可以用手施法並與您周圍的 VR 世界中的幾乎所有事物互動。 如果您曾經想實現成為可以從手中射出閃電的巫師的幻想,那麼這款遊戲適合您!
您如何看待 Quest 上的手部追踪? 你試過了嗎? 你會推薦哪些遊戲? 在評論中分享您的見解。