Oculus Quest 手部追踪技术的工作原理

已发表: 2021-03-11

Oculus Quest(原始模型和第二模型)有一段有趣的历史,即在硬件出现后很久才添加功能。 其中最著名的是 Oculus Link,它有效地将 Quest 变成了 Oculus Rift。 这个功能非常成功,以至于 Oculus 决定停止除 Quest 之外的所有头显。

手部追踪并没有像 Oculus Link 那样引起轰动,但它仍然是一个具有很大潜力的惊人功能。 通过手动跟踪,您根本不需要控制器。 你自己的双手被数字化进入了 VR 世界!

目录

    如果您有 Quest 或正在考虑购买,那么有必要了解手部追踪的工作原理以及它可以为 VR 体验带来什么。

    Quest 如何追踪世界

    Oculus Quest 使用一种创新的运动跟踪方法,通常称为“由内而外”跟踪,这与过去的运动跟踪工作方式大不相同。

    在 2010 年代中期发布第一款下一代头显时,它们使用了一个或多个外部跟踪摄像头。 头显上的特殊运动跟踪灯可以准确地告诉相机头显相对于它的位置。 通过一些巧妙的数学运算,这些数据可以转换为 3D 空间中非常精确的运动跟踪。 这就是高级 VR 耳机如何提供“六自由度”,也称为 6DoF。

    Quest 将摄像头传感器移动到耳机本身,在这种情况下将它们放置在设备上的关键位置。 其他头显可能会使用更多摄像头来提高准确性。 这四个摄像头让 Quest 观察您周围的真实世界,并确定您在该空间内的位置。

    这就是使 Quest 能够独立和便携的原因。 这也是首先允许使用 Oculus 进行手部跟踪的功能。

    标准 Oculus Touch 控制器

    要了解是什么让 Oculus 手部追踪如此令人印象深刻,我们必须从 Oculus Quest 附带的相当普通的物理控制器开始。 每一个都由内部传感器和特殊的运动跟踪标记进行完全运动跟踪,这些标记告诉 Quest 的板载摄像头控制器相对于耳机的位置。

    当您在 VR 中握住触摸控制器时,它们会以惊人的准确度进行跟踪。 使用控制器上的手柄和触发按钮,VR 软件可以创造令人信服的抓取和操纵物品的体验。 这在半条命 Alyx 和 The Climb 等游戏中非常有用,在这些游戏中,VR 世界中的抓握物品是游戏玩法的核心部分。

    由于称为“线性致动器”的设备,触摸控制器还提供触觉反馈,它可以产生碰撞物体、振动和其他触摸感觉的物理感觉。 当您无法在真实空间中实际移动时,拇指杆和按钮还提供了一种熟悉的方式在 VR 空间中移动。

    与手动跟踪相比,此方法的主要缺点是您有手钩。 您可以使用虚拟手执行简单的捏合动作,但仅此而已。 当游戏围绕控制器进行设计时,这并不是一个主要的限制,但手部追踪在 VR 中开辟了一系列新的可能性。

    Oculus 手部追踪功能

    启用手部跟踪后,您将在 VR 世界中看到真实手部的准确表示。 您的手指或手腕的每一个动作都会反映在他们的虚拟分身中。

    手部追踪不再是 Quest 的测试版功能。 它现在已集成到操作系统和许多第一方 Quest 应用程序中。 这里的第一个主要好处是,如果你只是想快速穿上你的 Quest 并在 VR 中观看电影或浏览应用商店,你不必费力地绑在触摸控制器上。 只需用手,您就可以访问系统菜单并轻松导航。

    既然手部追踪是 Quest 的一项官方功能,第三方应用程序开发人员可以将其添加到他们的应用程序中。 已经有许多应用程序很好地利用了 Oculus 手部追踪功能,但我们相信开发人员会找到更多令人兴奋的方式,直接手部追踪可以改变 VR 体验

    Oculus 手部追踪的工作原理

    手部追踪的结果非常惊人,但它实际上是如何工作的呢? 显然,Oculus 不会公布其专有解决方案的确切细节,但我们确实知道所涉及的技术和原理。

    首先,车载摄像头对于进行手部跟踪至关重要。 它们不仅提供立体深度信息,还提供用于机器视觉处理的视觉数据。 什么是机器视觉? 它是人工智能的一个分支,特别是一个被称为机器学习的领域。 该技术可让您手机的相机应用程序快速识别照片中的人脸。

    本质上,软件必须了解相机提供的图像数据中哪些是手,哪些不是手。 这可能是通过向软件展示不同环境中的成千上万只手来完成的,直到它能够可靠地找出一种快速有效的方法,将它们与房间中的其他东西区分开来。

    一旦该软件可以为您的手创建准确的实时虚拟模型,应用程序开发人员就可以将它们用于他们能想到的任何事情。 您现在可以在 VR 中精确操作对象!

    值得尝试的手工追踪体验

    如果您拥有 Oculus Quest,则无需购买任何特定应用即可试用 Oculus 手部追踪功能。 如上所述,它适用于主要的 Quest 环境以及一些第一方应用程序。 谈到第 3 方体验时,有一些值得强调的地方。

    The Line 是一款 4.99 美元的叙事体验,也是手部追踪的完美技术演示。 它讲述了一个在发条和轨道上运行的比例模型城镇的故事。

    我们的英雄佩德罗爱上了罗莎,但他无法逃脱命运。 直到有一天新的事情发生。 您可以通过用手转动旋钮、拉动杠杆和摆弄所有可能的东西来与他们的比例模型世界互动。 这是一种线性的、短暂的体验,但可以在大约 15 分钟内以非常有趣的方式展示手部追踪。

    Waltz of the Wizard(9.99 美元)是该技术的另一个出色展示。 您可以用手施法并与您周围的 VR 世界中的几乎所有事物互动。 如果您曾经想实现成为可以从手中射出闪电的巫师的幻想,那么这款游戏适合您!

    您如何看待 Quest 上的手部追踪? 你试过了吗? 你会推荐哪些游戏? 在评论中分享您的见解。