在之前发布的博文中,我们探讨了Adreno运动引擎对于立体深度 (DFS) 技术的支持,重点介绍了该项技术如何通过立体图像对生成视差和深度图。我们讨论了立体深度技术的各种应用,包括混合现实扩展现实设备,并强调了高通Adreno GPU在提供高性能、低延迟立体深度解决方案方面的优势。
有关立体深度技术及其优点的详细概述,您可以在此处查阅我们之前发布的文章。
在这篇后续文章中,我们深入研究了使用高通Adreno GPU来改善Meta公司Horizon Hyperscape中的抖动问题,以展示立体深度技术在现实场景中的实际实施和影响的具体客户用例。
AdrenoTM GPU运动引擎 |
运动估计 / 光流 |
立体深度技术 |
图像生成 |
超分辨率 |
二次投影 / 变形 |
色彩空间转换 |
Hyperscape
自上次更新以来,我们一直在与Meta公司合作,以便将Adreno动作引擎的立体深度解决方案集成到Meta 的Horizon Hyperscape应用中。Hyperscape为人们提供了扫描物理空间的工具,然后在Horizon中上传并渲染逼真的数字复制品。
云流的关键挑战之一是抖动的出现,尤其是在体验由Hyperscape创建的沉浸式世界时。抖动表现为口吃或急跳动作,可以引起不适并破坏沉浸感。
在混合现实 (MR) 环境中存在这种问题;在混合现实环境中,平滑和自然运动对于保持令人信服和舒适的体验至关重要。
为了解决这一问题,可以利用立体深度技术执行位置-时间扭曲,这是一种基于用户最近头部位置和方向重新投影图像的技术。通过实时生成深度图,立体深度技术可允许Hyperscape在显示渲染图像之前调整渲染图像,从而确保视觉效果更准确地与用户移动相匹配。
这一过程可以有效减少抖动,并提供更为流畅、更加身临其境的体验。
Adreno动作引擎立体深度 DFS解决方案在这种情况下特别有效的原因是其低延迟和高性能。
经过优化的Adreno GPU立体深度技术实施可以在1毫秒内生成深度图,从而允许在客户端进行实时处理。这意味着即使在流帧中存在延迟,立体深度技术也可以快速有效地执行必要的计算,以准确地重新投影图像。
此项功能对于在云流应用程序中保持高质量的用户体验至关重要,因为任何延迟都会影响内容的感知平滑性和响应性。
使用高通Adreno GPU改善Meta Horizon Hyperscape中的抖动问题
2025年5月9日 | 0:13时
PTW关闭和PTW打开与Quest 3的比较。该视频包含增加的丢帧,从而使PTW效果更加显著,以便进行演示。
要点
我们正在不断开发和改进Adreno运动引擎,并增加各种新功能,例如立体深度(DFS)技术。我们与Meta公司在Hyperscape技术方面进行合作,以展示如何使用低延迟立体深度技术来减少抖动并提供更为流畅的用户体验。
Meta公司将在接下来的一个月逐步推出更新内容。我们鼓励您查看the Hyperscape演示,并亲自感受差异!
一定要加入我们的开发者Discord社区,与同行的开发者建立联系,并可以独家访问构建各种产品。
在所发布内容中表达的观点仅为原作者的个人观点,并不代表高通技术公司或其子公司(以下简称为“高通技术公司”)的观点。所提供的内容仅供参考之用,而并不意味着高通技术公司或任何其他方的赞同或表述。本网站同样可以提供非高通技术公司网站和资源的链接或参考。高通技术公司对于可能通过本网站引用、访问、或链接的任何非高通技术公司网站或第三方资源并没有做出任何类型的任何声明、保证、或其他承诺。
高通品牌产品均为高通技术公司和/或其子公司的产品。
关于作者
山姆·赫尔姆斯
乔纳森·威克斯,首席工程师
