my’blog

五分pk10 《Apollo 11 Mission》如何在HoloLens 2上实现高质量MR交互体验

原标题:《Apollo 11 Mission》如何在HoloLens 2上实现高质量MR交互体验

来源:映维网

请想象如许一个画面:一组穿戴HoloLens 2头显的工程师正聚在桌子周围,并与同样的超保真数字3D全息图进走交互和配相符。

这是HoloLens 2演示内容《Apollo 11 Mission AR》所表现的异日。对于企业同化现实来说,这是一次重大的飞跃。所述的演示内容表明,经由过程行使Unreal引擎和HoloLens 2,吾们能够实现最高质量的同化现实视觉奏效。吾们在2019年的时候已经一睹这个项主意收获。现在,Unreal向吾们介绍了项主意技术方面。

1. 无线传输高保真的MR视觉奏效

“阿波罗11号”这个演示内容最初实在微柔HoloLens 2发布会中进走了展现。它是Epic Games和微柔的配相符,并用于表明HoloLens2的一流视觉奏效。Epic Games高级项现在总监弗朗索瓦·安托万(Francois Antoine)注释道:“当微柔的人造智能与同化现实Technical Fellow艾利克斯·基普曼(Alex Kipman)邀请吾们尝试HoloLens 2的早期原型时,它所表现的崭新沉浸感和安详感深深波动了吾们。当演示终结后,吾们的脑海只在思考一个题目:什么最正当展现HoloLens 2那不走思议的能力呢呢?”

碰巧2019年是人类最大的技术收获之一:首次登月的50周年祝贺。这为团队挑供了正当的背景,因此Epic最先着手创建用于重现这一历史时刻的内容。

为了确保尽能够忠厚于原首原料,钻研幼组邀请了阿波罗11号义务的行家。现场演示由ILM的首席创意官约翰·诺尔(John Knoll)和太空历史学家、《玉轮上的须眉》一书的作者安德鲁·柴金(Andrew Chaikin)主办。诺尔挑供了大量的参考原料,为3D资产的实在性挑供提出,并向参与项主意Epic团队注释了整个义务过程。

项现在深入到阿波罗11号义务的多多方面,而《Apollo 11 Mission AR》挑供了史无前例的视觉细节程度。技术美术MinJie Wu外示:“吾们从未见过这栽图片级实在感的同化现实内容。”

视觉内容是直接从运走在联网PC的Unreal Engine无线传输到诺尔和柴金所佩戴的HoloLens2,并行使Azure Spatial Anchors的原型版本在两位演示者之间创建共享体验。

经由过程将两台设备联网五分pk10,彼此都能理解对方在物理空间中的位置五分pk10,从而声援相互追踪。另外五分pk10,团队经由过程在前方固定一台惠普WMR头显来实现第三个Steadicam摄像头的追踪。

将这第三个物理摄像头与Unreal camera校准对齐稀奇具有挑衅性。虚拟制作工程师大卫·西比特斯(David Hibbitt)指出。“吾们从多个角度拍摄镜头网格,并操纵OpenCV计算镜头参数。然后,吾在Unreal中操纵镜头参数和镜头扭弯插件,它既能够计算Unreal camera的属性,又能够生成用于扭弯Unreal渲染图以匹配摄像头片段的置换贴图。”

即便你能够获得准确的camera竖立和畸变校正,当camera最先移动时,照样能够会展现不匹配的情况。因为是camera追踪的点与镜头的节点不匹配,而这是Unreal引擎用作camera变换位置的地方,因此你必要计算这个偏移量。

西比特斯注释道:“要解决这个题目,你必要清新已知的3D位置和camera视图中的一致点的已知2D位置,如许你就能够计算节点的3D位置,倘若你在拍摄图像时清新camera的追踪位置,你就能够找到偏移量。”

为了获得已知点和camera的位置,钻研幼组确保追踪编制在运走时将网格点行为已知点来拍摄镜头网格。这使得它能够在单通道中获得camera和追踪偏移的校准。

竖立必要三个不实在的引擎实例:一个用于camera,另外两个别离用于HoloLens。它们都经由过程网络接到一个单独的专用服务器。阿波罗11号项主意XR负责人瑞安·万斯(Ryan Vance解)释说:“为了确定对方在物理空间的位置,它们正在互一致讯。如许每幼我都能够在联相符时刻望到一致的画面。”

将计算过程从移动设备迁移到高性能PC是的主要一步。以前,你必须在移动设备运走完善的Unreal引擎堆栈。万斯指出:“如许做的益处是,它是你用于手机或其他设备的标准移动安放策略。但弱点是,从计算的角度来望,设备自己的硬件性能对你造成了控制。”

现在,经由过程行使Unreal Engine对Holographic Remoting(全息长途处理)的声援,高端PC图形能够带到HoloLens之中。万斯外示:“能够在PC表现出真实高质量的视觉奏效,然后将它们传送到HoloLens设备,这带给了人们一栽史无前例的新体验。”

Holographic Remoting(全息长途处理)操纵Wi-Fi将全息内容从PC实时传输到微柔HoloLens。MinJie Wu说道:“不必要倚赖本地移动硬件来生成最后图像是专门主要的一步。”

演示者和全息图之间的交互表清新为MR和VR设计交互的不同。项现在首席程序员杰森·贝西姆特(Jason Bestimt)外示:“在虚拟现实中,你竖立了你的‘坦然区域’,并准许你只会在其中移动。但对于同化现实,你不受这栽奴役。原形上,在空间中走动是你最大限度地行使这栽体验的手段。”

2. 用二次投影处理去返迟误

为了创建Apollo 11演示,团队行使了已在游玩中操纵多年的功能。万斯指出:“最酷的是,你能够采用标准的Unreal网络和游玩框架概念,并行使它们竖立一栽多人配相符全息体验。”。

不论何时将网络连接增补到XR编制,传输追踪数据流都会展现迟误。项现在最大的挑衅之一是确保追踪编制的相反性:PC和HoloLens设备之间至稀奇60毫秒的去返迟误。万斯注释道:“即使你站在那里一动不动,只要你的头稍稍一动,你都会仔细到。”

为晓畅决这个题目,微柔将他们的二次投影技术集成到长途处理层中。二次投影是一栽处理迟误题目的标准手段,同时是一栽复杂的硬件辅助型全息安详技术。它会考虑场景动画和用户移动头部时的活动和视角转折。行使二次投影技术确保了编制的所有片面都能够进走通信,并在某个虚拟世界中个点与某个物理世界中点相有关的地方达成相反。

3. 同化现实交互实验

当在实况活动中表清新“Unreal引擎到HoloLens 2”的竖立是可走之后,团队创建并公开发布了一个演示版本。安托万说道:“吾们想把它重新打包成更浅易的东西,如许任何人都能够最先安放单用户体验。”。(你能够在Unreal Engine Marketplace免费下载阿波罗11号的演示版本)

在创建这个公开版本时,团队发现了最为成功的同化现实交互类型。技术美术西蒙·隆巴多(Simone Lombardo)指出:“一路先,吾们创造了很多疯狂的钢铁侠风格交互。然而,尽管吾们认为这些手段操纵首来专门风趣和直不悦目,但并不是每幼我都如许认为。”

刚接触同化现实的用户难以理解复杂的交互,并在舛讹的时间触发了一系列的交互。原形表明,最浅易的交互是浅易的抓取/触碰,由于它们映射了实活着界的交互。

基于这一发现,阿波罗11号的演示行使直接的触碰行为进走交互。贝西姆特注释说:“吾们删除了所有‘复杂’的交互,如‘双重抓捏’。不光是由于被试会不测埠触发它们,而且当用户的手稍稍超出周围时,吾们会得到了很多非有意的输入。很多处于放松状态的用户会将拇指和食指并拢,并形成‘捏’的姿势。如许当他们举首手最先交互时,编制会自动检测到非有意的抓捏输入。”

诸如菜单如许的其他交互手段同样会减损体验。

团队同时发现了创建能够弥相符虚拟世界和物理世界之间鸿沟的用户体验的新手段。在遇到全息图时,很多用户的本能逆答是尝试触摸它,这会导致用户的手指穿过全息图。伦巴多指出:“吾们增补了一栽距离场效答。当全息图与实在手指接触时,全息图会留下一道蓝光。这就在实在和子虚之间竖立了一栽有关。”

此后,团队不息在为HoloLens2开发AzureSpatialAnchors声援,而现在你能够经由过程Unreal Engine4.25预览版的beta版进走测试。空间锚定将批准全息图在实在空间中不息存在。万斯注释说:“如许能够更容易地将所有总共对齐。因此,复制吾们演示的功能答该相对浅易,声援多人共享联相符空间。”

自微柔HoloLens2发售以来,市场展望全息计算将对从零售到土木工程的各个走业产生重大影响。阿波罗11号演示代外了视觉和交互质量的重大挺进,并将吾们带到人类期待的异日。

原标题:“老爹裤穿搭攻略”,让你“霸”气十足!

新京报快讯 据中纪委网站消息,黑龙江省水利厅党组成员、副厅长王乃巨涉嫌严重违纪违法,目前正接受纪律审查和监察调查。

原标题:超长寒假将结束!广东二级响应调至三级,学生分期分批返校复学

原标题:小贱贱瑞恩雷诺兹本人奉劝粉丝别看《绿灯侠》不值99美分

湖北以外新增病例13连降,全国累计治愈病例破万

 


posted @ 20-05-09 01:16  作者:admin  阅读量:

Powered by 5分pk10 @2018 RSS地图 html地图

追求更好 技术支持