出品 | AI科技大本营（ID:rgznai100）
2045年，现实世界令人失望，人们将救赎的希望寄托于“绿洲”，一个虚拟游戏宇宙。人们只要戴上VR设备，就可以进入这个与现实形成强烈反差的虚拟世界。在这个世界中，有繁华的都市、形象各异、光彩照人的玩家，而且各色影视游戏中的经典角色也在这里齐聚一堂。
这是电影《头号玩家》中的精彩剧情，虽然只是剧情，但是“绿洲”世界的存在，着实令人心动，在“绿洲”里，任何人都可以成为超级英雄，再遥远的梦想都变得触手可及。现实世界中的你，是否也想一睹“绿洲”世界呢？
随着科技发展，现实世界和虚拟世界之间的关系也愈发紧密。
相信很多人都听说过任天堂的“爆款”游戏—精灵宝可梦Go，拿出手机摄像头“扫一扫”，手机屏幕上就能显示出有小精灵站在路边的报箱上，并且能和现实世界互动，小精灵可以沿着报箱爬上爬下，你伸出手，它甚至可以直接爬上你的手心，让玩家在虚拟和现实之间开始“真假难辨”。
相比于“绿洲”中的虚拟现实技术，“精灵宝可梦”中运用的是混合现实技术。混合现实是一种视觉增强的技术，结合真实世界和虚拟世界，共同创造了新的可视化对象，用来模拟真实物体，并且可以对现有对象或景观的实时图像进行数字更改。
是不是听起来就很炫酷，但是混合现实技术可不是“徒有其表”，在现实世界中，依旧可以“大展拳脚”，近期，大阪大学的研究人员将混合现实技术与城市规划结合，在现实世界中也能规划虚拟建筑。研究人员运用深度学习改善混合现实技术的应用，利用游戏引擎动态的删除识别的视频中的遮挡对象，从而帮助工程师进一步优化城市规划设计。
为了进行生态文明建设和应对气候变化，建筑节能和绿色建筑是城市规划中重要的一环，人类在规划各类建筑工程和项目的同时，需要与自然环境和谐相处，保护人类赖以居住的环境。因此，在建筑规划和设计阶段，相关人员会在施工前后对规划的建筑景观进行评估和考察，以避免规划失误，但是现在缺乏相应的景观可视化技术，加大了工程人员的工作难度。
目前一般是通过数字化的计算机图纸来实现建筑模型的设计，在传统设计过程中的许多交流通过文字和二维的图像来表达，不直观，让人费解，影响了设计人员之间的有效沟通。混合虚拟技术的出现和应用，引起了景观设计领域的关注，通过将虚拟的内容叠加到真实场景中，能否解决现存的问题呢？
混合现实技术中的一大难题是遮挡，当虚拟世界中对象遮挡了应该在前景中渲染的真实物理对象时，两者之间就会遮挡。此外，由于利用混合现实技术的景观可视化中，虚拟对象与真实对象之间的距离可能会不同，无法统一固定距离，加大了遮挡对象处理的难度。
大阪大学的研究人员在研究中，利用深度学习进行语义分割，并将其集成到混合现实系统中，以实现动态遮挡处理和景观指数估计，既可用于现有景观，也可用于景观设计评估，并且可以通过连接到高性能的个人计算机上，在具备视频通信功能的移动设备上即可进行操作，该系统的适用性也得到了相应的验证。
该项研究的初衷是基于混合现实技术进行未来景观设计和评估，其中主要两个评价指标，其一是在现实世界和虚拟世界发生遮挡的地方，如何保持更好的一致性；其二是对于景观指数的评估。
基于上述要求，研究人员将深度学习语义分割和混合现实技术结合，并结合实际应用场景大多在户外，所以将整体系统在轻型移动设备上集成实现。该系统能够直观评估当前景观和设计的景观，是否或者多大程度上有助于绿色建筑和城市规划，相关定量评估的标准也正在积极的讨论和审核中。
下面让我们来了解下这个系统的构成，主要包括以下三个部分。
1.客户端浏览器与游戏引擎之间的通信
在轻型移动客户端上，浏览器获取的实时视频和语义分割视频被传输到游戏引擎，这一过程需要浏览器与游戏引擎之间进行视频通信。研究人员使用Unity游戏引擎，并将常用的OpenCV for Unity作为混合现实系统开发中的的图像处理插件。鉴于浏览器和Unity都在前端运行，浏览器和游戏引擎无法直接通信，因此，研究人员在客户端上构建了中继服务器，以实现浏览器和Unity之间的视频通信。
中继服务器是使用Python和Flask在本地环境中构建的，Ajax开发用于浏览器和中继服务器之间的通信，视频数据被传输到中继服务器。Unity与中继服务器之间的通信是使用WWW类（Unity中用于HTTP通信的类）访问存储在中继服务器中的视频数据。将上述各个部分进行集成整合，研究人员构建了一个系统，将实时视频和语义分段视频从浏览器传输到Unity。
2.动态遮挡处理
上图是系统中配置的虚拟空间。在虚拟空间中，人们定义了设计目标的3D模型和摄像机位置，通过虚拟摄像机绘制出新结构的3D模型，即混合现实图像(MR图像)，将混合现实图像叠加在现实空间中的实时物理图像上，并通过混合现实技术绘制3D模型。
该系统通过使用Unity的OpenCV生成基于语义分割图像的遮挡目标区域的每一帧的图像。在语义分割中，为景观元素的每个类别，例如天空和植被，定义RGB值，从而可以根据检测类别的RGB值生成用于遮挡的遮挡图像。为了实现动态遮挡，用户在生成遮挡图像时预先设置要遮挡的真实物体的类别，从而可以自动生成用于遮挡每一帧中的真实对象的掩模图像。
接下来，将所生成的掩模图像与混合现实图像组合，并且使混合现实图像中的组合掩模区域不可见，以实现动态遮挡。下图显示了整体的动态遮挡过程的流程。
3.景观指数计算
如今，语义分割（应用于静态2D图像、视频甚至3D数据、体数据）是计算机视觉的关键问题之一。在宏观意义上来说，语义分割是为场景理解铺平了道路的一种高层任务。作为计算机视觉的核心问题，场景理解的重要性越来越突出，因为现实中越来越多的应用场景需要从影像中推理出相关的知识或语义。
在绿色建筑和城市规划中，语义分割用于估计当前的景观指数以及由混合现实图像叠加后设计目标的景观指数。为了量化该项目，研究人员测量了绿色景观指数(GVI)，即在一个人的视线范围内，包括植物和树木在内的绿色区域在当前或拟布局中的比例。当前的景观图像的GVI和MR叠加设计目标后的景观图像的GVI均以绿色区域作为景观指数估算的目标进行估算。
下图显示了一种用于测量当前景观和设计景观的绿色可见性的方法。当前GVI是通过将使用蒙版图像中的语义分割而提取的绿色区域中的像素数除以整个图像中的像素数来测量的。使用Unity的图层功能估算混合现实中具有新结构的GVI，该功能仅渲染选定图层中的对象。
在这种方法中，通过为绿色植物的3D模型分配特定的图层来创建混合现实图像。然后，再将混合现实图像进行遮挡，并与绿色区域的当前遮挡图像合并，以创建绿色区域的新遮挡图像。通过将组合蒙版图像中绿色区域中的像素数除以整个图像中的像素数，可以测量具有新结构的GVI。
正如前文所述，准确性是衡量该系统的一大重要指标，因此研究人员对20个风景图像进行了语义分割，并从生成的图像中验证了GVI测量的准确性。风景图像的分辨率设置为1024×576像素，在该系统中，研究人员将绿色区域定义为Cityscapes数据集中的“植被”和“地形”区域，并通过比较手动创建的地面真实图像和分段图像来评估准确性。如下图所示，该项系统预测GVI可以达到93.3%的准确率，高于其他的研究结果。
为了验证系统的实用性，研究人员进行了实景验证，对室外植被进行了基于混合现实技术的景观可视化，并评估了GVI估算对于当前和计划中的景观设计是否准确。混合现实技术将新植被的3D模型叠加在现有植被上，以验证GVI的测量。
结果表明，该系统能够叠加3D植被模型来模拟当前景观和设计景观，并能够同时估算GVI。但是，该系统目前的帧速率约为3-5 fps，虽然可能无法满足实时性能，但可以模拟风景并测量相应的GVI。但是，从研究结果中，我们可以发现系统应用时容易高估当前景观的GVI并低估了设计景观的GVI。对此，研究人员认为是因为该系统提取了当前景观中的大范围的边界作为绿色区域。相比之下，被设计景观的GVI被低估了。
混合现实技术的发展，使其在越来越多的领域得到了应用，绿色建筑是全球关注的热点之一，混合现实技术与城市规划的结合会给建筑行业带来许多新的应用研究领域：建筑方案可视化、模型设计协同化、施工过程信息化以及运营维护高效化等。该项研究的团队希望这项研究能够帮助工程相关人员理解GVI对城市规划的重要性，同样，我们也期待两者之间碰撞出精彩的火花。
