微软MR总监：Mesh将成为AR开发的底层架构

2021-04-01 18:43:39

字体：大中小

来源：转载

供稿：网友

三月初，微软重磅推出支持云计算的AR开发平台Mesh，为普及多人跨平台AR应用带来可能。Mesh技术的应用场景有很多，包括远程协作、会议、虚拟网课、社交、多人游戏、LBS AR、Metaverse、AR云渲染等等。

武林网(Vevb.com)在此前的文章中曾详细解释Mesh平台的多种功能，比如：1）降低逼真AR形象开发所需的时间和资源；2）让多人AR内容更稳定，不受延迟和跨平台影响；3）支持更多或统一导入至AR平台的3D文件格式；4）支持流畅同步的远程多人AR体验。

那么，关于这个AR云平台还有哪些细节？到底如何使用？以及为什么微软决定为AR开发一个专门的开发平台？带着这些问题，近期外媒NextReality对微软MR总监Greg Sullivan进行了采访。感兴趣请一起来看一下，也许你们关注的一些问题可以得到解答。

NextReality：能否更加准确的描述一下Mesh的功能，以及它是什么吗？

Greg Sullivan：简单来讲，Mesh平台可以让你通过逼真的虚拟形象来体验沉浸的AR场景，为了增加3D虚拟形象的逼真感，你可能需要使用额外的传感器/定位器。除此之外，也可以通过简单基础的虚拟形象来代表自己，比如微软团队就将AltspaceVR的虚拟形象系统移植到Azure，为企业提供更简单的方案。

如果你是HoloLens用户，那么便可以使用头显的位置追踪和环境追踪传感器，体验更沉浸的内容。此外，你还可以利用HoloLens的手势识别功能来控制Mesh应用和虚拟形象。这是其中一种简单的解决方案。

不过HoloLens只能定位你的头部和手势，并不能追踪全身。在Mesh宣传视频中，曾经提到使用Azure Kinect开发者套件和传感器来进行3D测量。HoloLens 2采用和Kinect相同的传感器，额外的Kinect可用于追踪全身姿态。除此之外，也可以使用搭载LiDAR传感器的iPhone、iPad Pro等设备。

Next Reality：如果HoloLens 2，用户如何去控制AR虚拟形象呢？

Sullivan：首先我想说明一下Mesh平台和服务的区别，Mesh服务值得是一种开发者工具和云服务的集合，也可以看作是一种沉浸式协作云服务。就像是为Xbox开发应用，开发者利用Mesh则可以开发沉浸式、协作的MR应用，插入Mesh SDK后，便可为你开发的应用加入跨平台多人互动功能，并在WMR、HoloLens、Oculus、PC、Mac、智能手机等终端应用。

总之，Mesh的愿景是不管你用什么设备，都能或多或少使用利用Mesh开发的功能或内容，与其他3D 虚拟终端互动。那么，如何在笔记本或是PC等客户端实现姿态追踪呢？

一种方式是通过鼠标来控制虚拟形象。未来，微软将推出支持Mesh的微软Teams版本，尽管目前还不能确定时间。

如果是在苹果或安卓系统的手机上运行Mesh，开发者可以向根据ARCore或ARKit架构开发AR应用，然后再加入Mesh功能。如此一来，Mesh可服务于各种各样的终端设备，让更多人可以体验。

Next Reality：Mesh这个名字背后有什么意思？

Sullivan：它指的并不是3D扫描技术会用到的网格，而是指一种让人们建立联系，带来临场感的底层架构。

Next Reality：Mesh的功能是否与AR协作应用《Spatial》有所重叠？

Sullivan：微软，尤其是HoloLens发明者Alex Kipman与《Spatial》团队有着紧密的合作关系，他认为《Spatial》只是一个应用，而Mesh是一个大规模解决跨平台多人AR场景的平台。而对于《Spatial》开发者来讲，他们可以与微软合作，维护Mesh平台，与此同时也可以将更多精力和资源用于优化自身服务和应用内容的特色。

Next Reality：这是否意味着，Mesh的诞生，让更多开发者可以开发像《Spatial》那样的应用。

Sullivan：是的，而《Spatial》团队比其他人先一步开始，他们已经有清晰的价值定位。也就是说，他们可以将更多精力用于优化服务和内容，解决更多问题，帮其他开发者探路。

Next Reality：Mesh是不是更像是AR的浏览器，可以让大家开发多种不同的AR“网页”（内容）？

Sullivan：Mesh差不多就像是一种底层标准，为开发者们提供底层基础问题的解决方案，让他们可以将更多精力用于进一步开发和优化。

Next Reality：Mesh的收费标准是什么？是否分为开发者、专业、企业等不同等级？推出计划是什么？

Sullivan：Mesh SDK将免费供开发者使用。

Next Reality：既然Mesh支持云端服务，那么应该会有一些相关收费吧？

Sullivan：差不多，不过目前还未公布任何相关细节。目前，通过向开发者提供Mesh预览版，就是为了收集反馈，通过开发者的各种创意，帮助我们了解Mesh潜在的使用方法。

Next Reality：Mesh和Azure都是与云计算相关的服务，那么他们的区别是什么？

Sullivan：实际上，Mesh属于Azure中的一种服务，是一种基于Azure技术的沉浸式协作开发平台。Mesh会用到Azure的远程渲染，以及身份管理、安全保护等企业级功能。

Next Reality：可以谈谈微软对于《Altspace VR》的规划吗？

Sullivan：很多人说，现在终于明白为什么微软要收购《Altspace VR》了，它确实有很多应用场景，比如虚拟人像等等。而这还只是开始，未来还将有更多发展。对于微软来讲，从Kinect开始Alex Kipman就一直在构思虚实结合的长远目标，因此多人AR是微软的战略之一。随着技术逐渐成熟，终于决定推出Mesh预览版，将WMR、HoloLens等等一系列硬件平台联系起来，实现可供更多人分享的虚拟场景和内容。

总之，多人协作一直是微软的战略之一，从推出Kinect开始，然后推出HoloLens、HoloLens 2、云服务、Azure、Spacial Anchor、Remote Rendering等等一系列功能。同时，这些功能也是Mesh平台的一些核心功能，在微软逐步推进后不断完善。实际上，在今年MWC上微软就计划展示Mesh，不过由于疫情原因会议取消了，于是经过一系列优化后，终于正式发布。

Next Reality：作为微软AR业务多年从事者，这些年都获取了哪些经验，或许可以启发未来的AR应用？

Sullivan：邮件、视频解决了远程办公的许多问题，可以看到科技在提升人们工作的方式。不用通勤就能上班，为生活带来很大改变，而AR技术将有望进一步优化远程办公，模拟面对面办公的沉浸感和临场感。经过去年的疫情，AR与远程办公得到了加速发展，不过这些技术本身也是注定会实现。

上一篇：李彦宏：百度汽车最迟2024年量产 Apollo将高速增长

下一篇：小米自研芯片曝光：5G频段今年发布