Snapdragon Spaces对于增强现实开发至关重要的原因
发表于 2022-11-16 11:00:05

在本帖中提及的Qualcomm产品均由Qualcomm Technologies公司和/或其子公司提供。

我们认为,轻便的头戴式增强现实眼镜将成为智能手机的下一个发展方向。这种眼镜所提供的沉浸式体验甚至超过了2D屏幕,使用户从低头看手机转变为环顾周围,同时保持数字视野

Snapdragon Spaces架构中,我们介绍了本公司的Snapdragon Spaces扩展现实开发人员平台以何种方式促进该类头戴式增强体验的开发。但是,只有深入到具体细节中,您才会意识到为什么Snapdragon Spaces对开发人员而言至关重要。

首先,Snapdragon Spaces是一款端到端平台,拥有丰富的硬件开发套件软件开发套件,可在安卓支持的兼容性头戴式显示器上构建增强现实体验。该平台可以与本公司的Snapdragon Spaces Services安卓应用程序包文件相配合,后者可以在安卓设备上提供增强现实运行时间。经过艰苦工作,我们已经完成了这些资源的整合,因此您可以专注于进行自己的开发。

Snapdragon Spaces Services安卓应用程序包文件可以在安卓设备上提供增强现实运行时间。经过艰苦工作,我们已经完成了这些资源的整合,因此您可以专注于进行自己的开发。

软件开发工具包可在Unity虚幻引擎上使用 – 可以说是当今最流行的两款游戏引擎。这些工具将内容驱动工作流和面向开发人员的编程功能结合在一起。如果您具有游戏开发或其他多媒体背景,您可能已经有Unity或Unreal方面的经验。如果没有,您也可以快速上手。无论哪种方式,您都可以在各种现代、成熟的框架中工作,并对其实现高性能增强现实应用程序的能力充满信息。

该类工具同样与OpenXR兼容,这意味着应用程序接口调用应该在各种兼容设备上工作,以确保最小的移植。Unity和Unreal的OpenXR插件确立了渲染和头部跟踪等基本功能,还提供了与OpenXR运行时通信的接口,包括Snapdragon Spaces提供的各种子系统。这意味着您可以构建针对OpenXR兼容设备的体验,而硬件制造商则可以构建其功能符合OpenXR规范的的各种兼容设备。

让我们了解一下Snapdragon Spaces所支持的某些关键增强现实功能,这些功能对构建增强现实非常重要的原因,以及如何获得对该等功能进行集成的信息。

位置跟踪

可以说,任何增强现实应用程序最基本和最重要的功能就是位置跟踪。这种功能精确地映射环境,并在3D空间范围内估计用户观察装置的位置和方向。Snapdragon Spaces将捕获6自由度信息,作为头戴式增强现实设备的输入数据。开发人员利用其了解和跟踪终端用户相对于世界的位置,并在相对于终端用户头部位置和方向的场景中渲染增强现实内容。

查看本公司UnityUnreal 的使用示例,其中展示了头戴式增强现实设备6自由度跟踪的设置方法。

手部跟踪

手部跟踪功能可以跟踪用户手部和手指关节在3D空间中的位置和方向。可以将其作为输入数据来操作数字对象,与3D图形用户界面交互,或对用户数字表现的动画描绘(例如:现实替身,屏幕显示手部等)。

这种功能提供了全新高度的输入和反馈,而依赖屏幕手势或物理控制的传统设备无法做到这一点。此时,用户可以看到其肢体的视觉再现情况,当他们与物体交互时,这种视觉再现就会更新并表现得如同在现实世界中一样。捕捉用户的动作和行为举止也能给你的AR体验带来临场感。

本公司的Snapdragon Spaces Unity包提供了一个类似增强现实基础的界面。可利用基于机器学习的模型和位置跟踪摄像头进行手部跟踪。查看本公司的Unity手部跟踪示例Unreal手部跟踪示例,以了解其所有功能。

在本公司的QCHT Unity Core包中为Unity提供了额外的手部跟踪功能(例如:可操纵手部网格和交互组件),该软件包属于Unity软件开发工具包下载程序的组成部分,位于“Unity 包”文件夹中的“手部跟踪”文件夹。有关远端和近端交互的示例,请查看 交互方法交互组件、以及扩展手部跟踪示例

图像识别和跟踪图像识别可以确定摄像头捕捉到的视觉特征或标记。图像识别和跟踪通常用于触发和显示与现实世界对象相关的数字内容(例如:当用户查看某一产品标签时,会显示一个信息弹框)。当用户扫描周围环境时,在头戴式增强显示显示器上可以提供一个信息世界

图像目标是指作为标记存储在数据库中的图像,可以利用跟踪系统识别这些图像,确定世界中的平坦区域,以便应用程序增强或以其他方式对每一个指定图像进行识别。

请查看本公司的UnityUnreal 示例,以了解进行设置的方法。

平面检测

平面检测是一种空间映射形式,可以检测各种平面区域,以确定边界(例如:墙壁、桌面等)。这一基本功能为诸如 数字化映射(物理环境或对象的3D网格表示)等高级结构铺平了道路。

Snapdragon Spaces软件开发工具包点击测试功能还允许进行射线投射,通过反射被检测的表面来确定与扫描区域中所发现几何图形的相互作用。

请查看本公司的UnityUnreal 示例,以了解有关水平和垂直平面以及凸包的检测方法。

本地锚点

锚点是用于定位、跟踪和持续保存数字内容的元数据。可以将某一锚点(即:锁或插针)连接到空间中的数字资产上,从而将其同已识别几何形状的现实世界集群联系在一起。本地锚点目前仅限于应用程序实例范围内的设备本地存储区,并且在默认情况下,一旦您关闭了应用程序,就会将其清除。

此时可以将本地锚点信息存储在本地保存文件中,并且允许在再次打开场景时召回锚点。这就产生了一种物体存在于不同时间环境中的错觉。毫不奇怪,锚点依赖于精确的位置跟踪来实现其位置和方向设置。

请查看本公司的UnityUnreal 示例,以了解创建和设置本地锚点位置的方法、以及最近添加的持久性功能。

了解更多关于Snapdragon Spaces的内容

前往Snapdragon Spaces开发人员门户并查看文档,然后注册下载用于Unity或Unreal的Snapdragon Spaces软件开发工具包。您还需要兼容性硬件,例如本公司的 Snapdragon Spaces硬件开发工具包

如果您没有 UnityUnreal ,则均可以提供可供您下载探索的免费使用层级。安装完毕后,请遵循本公司的Unity安装指南 或虚幻引擎安装指南,以集成本公司的软件开发工具包。

如要了解更多信息,请务必查看以下资源:

Snapdragon SpacesSnapdragon Spaces扩展现实开发人员平台Qualcomm Technologies, Inc./或其子公司的产品。

相关博客:

科幻的梦想:昨天的想法如何变成今天的现实

同步空间扭曲对虚拟现实渲染性能的虚拟提升

增强现实与Snapdragon Spaces:从理论到实践

Snapdragon Spaces:为开发头戴式增强现实体验实施OpenXR

利用Vulkan的片段密度图偏移扩展改进注视点渲染

CSDN官方微信
扫描二维码,向CSDN吐槽
微信号:CSDNnews
微博关注
【免责声明:CSDN本栏目发布信息,目的在于传播更多信息,丰富网络文化,稿件仅代表作者个人观点,与CSDN无关。其原创性以及文中陈述文字和文字内容未经本网证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本网不做任何保证或者承诺,请读者仅作参考,并请自行核实相关内容。您若对该稿件有任何怀疑或质疑,请立即与CSDN联系,我们将迅速给您回应并做处理。】