机器之心报道
机器之心编辑部
5 月 24 日，在机器之心举办的「决策智能产业应用」在线圆桌论坛上，腾讯交通平台部总经理、腾讯自动驾驶总经理苏奎峰发表了主题演讲《实时孪生与智能决策》。
机器之心对苏奎峰的演讲内容进行了不改变原意的整理。感兴趣的小伙伴可以点击阅读原文查看回顾视频。
今天和大家分享的题目是《实时孪生与智能决策》。本次分享内容主要分三个部分：
- 第一部分为实时孪生整体架构。什么叫实时孪生，我们如何理解实时孪生和数字孪生，这两者有哪些本质上的区别，在下面的分享中，我都会进行简单解释。
- 第二部分为数据驱动自动驾驶。我的背景主要是做自动驾驶领域的研究，模型驱动和数据驱动是两个很重要的方向，本部分我会分享基于数据驱动自动驾驶的研究工作。
- 第三部分为基于实时孪生的智能决策。
实时孪生平台
第一部分为实时孪生平台。
实际上，实时孪生和传统数字孪生相比，更多的是强调实时性以及与现实真正的互动性。所以我们主要还是以模拟仿真、AI、云计算为主，把物理世界和现实世界更好的关联起来，构建数字空间，对数字空间进行精准描述。
数字空间不仅仅代表我们所生活的物理三维世界，它也包含设备、设施，甚至工厂等。有了精准的描述以后，我们就可以对物理空间进行诊断、预测，最终形成智能决策，然后反过来基于这样的智能决策，尤其是在数字空间里智能决策的一些建议或者方法，能够更好的反馈到物理世界、影响物理世界，而且它是动态的、实时的。
实时孪生平台包括 4 个部分。第一个就是数字化，首先我们要把静态的物理世界或者动态的物理世界进行数字化，使得物理世界和数字世界更好地映射和关联。在映射和关联过程中，我们需要利用 5G 等网络，进行低延时、高带宽的互动传输。有了信息互动和传输，在进行智能决策时，更多的是基于模拟仿真来进行，模拟仿真不仅是基于传统的模型的仿真，更多的还需要有现实数据，尤其是实时数据的仿真，所以我们称它为实时孪生，从而形成一个精准的决策，最后到闭环，形成一个数据闭环或者虚实融合的闭环体系，这也是我们理解的实时孪生。
当然实时孪生或者数字孪生，甚至当下经常提到的元宇宙、web3.0 等，这些概念或者方法都在不断地演进和升级，它们本质上的意义或者应用价值也不断在升级。
实时孪生实际上是一个虚实融合的闭环系统。从物理世界传感器获得数据，之后基于机理模型或者数据驱动模型可以进行智能分析、模拟预测、应用服务，形成一些智能决策。
这涉及几个问题，第一个是在数据驱动模型或机理模型方面，它具有动态更新能力和自主学习能力，基于强化学习的模型和过去方法区别很大。另外一个特点就是所有这些都是以数据为基础的，这是我们在数字化、甚至是企业进行数字化转型很核心的内容之一。
数字化转型本质上是业务数字化转型，与过去企业信息化完全不一样。数字化转型是通过业务的本身数字化，使其能够更高效地做一些决策，这依赖于核心业务模型，最终还需要提供更好的产品或者服务，这样一个闭环流程具备不断迭代和升级能力，这也是和过去发展有本质性区别的。
过去，一个系统从它诞生开始，可能就是一个最好、最优的状态。随着生命周期的延续、时间的增长，这种系统性能逐步在下降。而现在我们很多智能系统，基于数据驱动闭环或者实时孪生闭环，当首次给用户提供服务时，也许它是一个性能特性最低的点，比如自动驾驶汽车，随着用户的使用和数据的增长，以及个人用户习惯的融入，它的性能、用户体验在不断升级和提升，所以闭环体系在我们未来发展当中是非常重要的，闭环需要将虚实融合在一起。
整个闭环体系无论是在哪个行业，实际上都可以归纳为 5 个层面。首先是数据获取，数据获取有多种维度，这些数据有动态的，也有静态的。基于这些数据，在云平台上进行实时处理、融合等，最终进行数字孪生或者 AI 模拟仿真。在应用系统中，我们可以提供给更多的用户进行开发和应用，可体现在大屏幕驾驶舱或者智能多终端算法，包括车路协同设备。
从数字化、网络化、智能化来看，我们以智能网联、智能交通应用为例，尤其是车路协同自动驾驶，我们可以构建一个数字化道路，通过路侧的传感器可以实时感知路面上的交通状态，包括行人、自行车、非机动车、机动车等。同时我们可以利用预先构建的物理环境模型，如道路模型、建筑模型，形成云端数字孪生系统。通过 RSU 或者 5G 基站等，将物理平台和数据平台进行更好的数据扩充，从而在进行交通调度和管理时，我们可以在云端进行仿真和推演，选择更好的交通管理策略和方法，从而提高整个交通效率，这也是数字孪生基础体系。
从我们过去做的一些工作可以得出，孪生最核心的一个维度是感知，如何在不同天气、不同状态、我们肉眼不可视的情况下，甚至在传感器很难去探测的情况下进行数字孪生，是我们需要探讨的一个话题。过去我们在自动驾驶和智能交通领域，会利用雷达等设备在夜间或者大雾天进行车辆轨迹跟踪，然后再进行孪生，使得我们对整个交通状况了如指掌。
另外我们也可以利用摄像头等一些信息，去构建全息实时孪生路口。我们用几个摄像头构建了一个完全映射到数字空间的全息路口，在这个路口里，摄像头和孪生核心的区别不在于我们能够被上帝视角，更核心的区别是，一个摄像头它只能是分析一些简单的特征，它是不可计算、难以去仿真的，也不能分析历史发生的原因，更加不能预测未来。但是在一个孪生的空间里边，所有的目标除了反映物理世界当前状态外，还可以把它变成一个多智能体，对未来进行预测，基于当前的行人、车辆等的状态，来预测未来。
实时孪生更多地体现在我们能够实时从物理世界中获取动态的一些状态，通过云端强大的算力，在短时间内快速推演和预测未来，更好地去做预测，尤其是交通管理预测，这对于全局交通测试管理，甚至某一个红绿灯的配时管理，是非常有价值和意义的。当然我们也可以在这种环境下用强化学习进行训练，不断提升整个交通效率或者某一个区域的交通效率。
关于实时孪生应用，近几年在各个领域逐步的扩展开来，其应用范围包括孪生工厂、智慧城市、智慧矿山、沉浸式会议等。在每一个应用领域，实时孪生除了进行可视化以外，如何利用智能决策也是非常重要的话题，是一个需要深入研究的方向。
数据驱动自动驾驶
第二部分我将结合自动驾驶介绍如何才能更好实现智能决策。自动驾驶整体架构主要包括传感器、感知 & 定位、场景描述、决策 & 规划以及控制。
目前传感器大多是多元传感器的融合，包括摄像头、激光雷达、超声波等的组合，甚至每辆车都会配备有几十个传感器，这些传感器可以获取多维状态信息进行车辆感知与定位，所用方法包括语义分割、目标检测、SLAM 等，结合地图和动态的目标，进行驾驶场景的描述。
驾驶场景的描述一方面是车端感知结构的描述，另外一方面也可以是路侧的感知结构描述，也即车路协同的自动驾驶，单车传感器与路侧传感器进行融合，在一个时空下进行描述，这里的描述不仅仅是动态的描述、静态目标的描述，地理特征的描述，还有一些驾驶行为的描述，基于这样的描述，我们可以做一些规划、运动控制、轨迹优化等最终形成一些价值策略。基于这样的驾驶策略，我们可以对方向、油门、刹车进行控制，当然也有人机共驾的模式。
关于自动驾驶的研发，本质上包括模型驱动和数据驱动这两个维度。过去基于模型的驱动，需要对物理环境模拟一个模型，基于这个模型进行参数辨识、状态估计等操作，之后进行闭环控制，这是经典的模型驱动方法。
深度学习的出现，我们可以获得更多的数据，有更多的算力，基于这些数据和算力，再加上核心算法，以数据的形式去构建一个更广阔的策略，更泛化的参数空间，从而去描述一个事物，这本质上也是一种参数描述方法，或者说是一个模型的描述方法。唯一的区别是，我们可以借助算力、算法来更精准、更高维度的去构建数据驱动的模型，进行推理与预测。
自动驾驶领域涉及基于数据驱动的感知算法，我们收集不同的数据，然后基于来自各种天气、各种场景的数据进行目标检测、目标分割、道路检测等。当然下图覆盖范围很少，自动驾驶还包括其他场景。
我们构建了一些轨迹数据库，以及我们采集的、感知到的一些实时的驾驶行为轨迹数据，再融合到导航地图，形成机理模型，提取的轨迹模型可以得到驾驶的行为轨迹，最终映射到驾驶行为地图，驾驶行为地图与导航轨迹融合，进而进行全局优化。并且针对效率、舒适度的操作性等这些约束条件来进行优化，最终形成一个导航跟踪的决策规划轨迹，本质上这就是数据驱动决策。当然基于强化学习的方法，我也会简单介绍一些应用场景，我们也有一些落地的应用场景在进行测试应用。
除了感知决策规划以外，实际上对一个系统进行设计验证和完备性检验是非常重要的。此外基于数据的方式也是重要的一个场景，Verification（符合性验证）和 Validation（完备性检验）在自动驾驶领域体现相对更明显一点。对于符合性验证来说，我们能否把一个系统按照期望做得更好，这需要用到更多的测试用例、测试环境，从而验证设计目标。
另外一方面，完备性检验是非常有必要的，是面向用户的，自动驾驶是不是真的满足客户需求，是不是能够在现实中满足所有场景，是不是真正能够满足自动驾驶系统需求，最终给客户提供一个确定的高可用的系统，这些都是需要深入探讨的，所以不仅仅是 Verification 这样一个简单的事情，我们更多的还是需要在现实当中如何去检验。
我们在现实当中面临的场景是有限的，如何去确定或者去真正地验证我们的设计是否满足客户的需求，是比较重要的，这些问题，可以采用数据驱动来更多地模拟仿真、构建更多场景作为符合性验证测试用例。对于完备性验证，需要更多的现实数据，很难做到 100%，是一个逐步逼近甚至是统计意义的过程，但 Validation 是产品上市的重要环节，是必不可少的环节。
总结来说，自动驾驶数据驱动应该是从数据采集到原始数据，然后进行场景分析，不管是 Verification 还是 Validation，整个评测体系将基于实时孪生的仿真系统，最终构建分级的自动驾驶数据驱动体系，从而可以更好地进行一些研发工作。
基于实时孪生的智能决策
在介绍智能决策之前，我会分享自动驾驶决策包含哪些方法，这些经典方法是如何实现的。如下图所示，从经典的分析来看，智能决策包括路径规划、行为规划、运动规划和反馈控制。
在路径规划方面，很经典的优化方法是 Dijkstar 算法，这种方法相对简单；在行为规划里面，做一些有限状态机、决策树模型，甚至是基于知识的推理决策模型或者基于价值的决策模型进行基础决策。
在运动规划方面，我们需要平滑的轨迹以及基于搜索的规划算法、基于采样的规划算法、直接优化方法等，这些都是经典的方法。深度学习和机器学习还是在逐渐发展当中的。
实际上，我们可以采用监督学习、非监督学习、强化学习等方法，以数据为原料实现自动驾驶智能感知和智能决策。深度学习在感知方面用的比较多，感知环境的一些目标信息、动态及静态环境描述；在决策规划方面，强化学习用的比较多，基于当前状态映射输出相应动作、基于预期回报评价动作价值。
除了用经典的方法进行决策以外，运用物理动力学模型、环境模型去构建一个真正的 Simulator 仿真环境，利用与现实环境一致测试场景训练学习。强化学习的训练过程挑战极大，需要有复杂的场景和现实的决策结果以及反馈的激励机制，实际驾驶过程中安全性是最大的问题。有了实时孪生，可以利用与现实一致的环境，包括静态环境和动态车流、人流等，既有与现实的一致性，也有场景的可编辑能力，为强化学习训练提供了一个极好的训练测试空间。
这里，我简单的介绍一下基于实时孪生的强化学习框架。最开始讲实时孪生时，本质上它就是一个数据的物理对象、过程，通过传感器进行感知反馈，感知反馈与人工辅助的输入进行数据融合，最终得到对物理世界过程的描述，在实时孪生里面进行状态更新或结果估计。
可以看到，我们的实时孪生实际上构建了一个虚拟的评价系统，它不仅提供了一些数据场景的升级，它还可以利用这些模型进行状态估计。我们在这方面也跟清华等学校进行深入合作，未来也会把相应的环境开放给更多高校和研究机构，我们希望研究者能够更多地利用实时孪生环境，促进强化学习在智能决策方面的一些研究，加速整个过程。
自动驾驶不单纯是一个及其行为，本质上属于一种社会行为，是需要与周界的要素互动的。过去一个单车的自动驾驶在有限的感知范围内，只能根据车周边的环境进行决策。但人在完成驾驶过程中，会接收更广、更大范围的信息，是一个多智能体的协同，具有一定的博弈色彩。所以在自动驾驶决策训练过程中，需要更多的感知信息，当下的智能网联车路系统系统为满足这一要求提供了很好的支撑，能够站在上帝视角提供自动驾驶的决策。
类似下图所示的实时孪生验证环境，利用路侧雷达、摄像头等感知构建整个交通流，构建右上角所示的实时孪生系统，它实时地反映每一个车辆的轨迹和状态变化，与现实世界是一一映射的。而且在孪生世界中，每个车辆都是一个独立的智能体，当发生碰撞或者认为的敢于时，比如增加了一台自动驾驶车，周边的车辆会自动的，智能的做出相应的反应，这就是实时孪生系统与简单的镜像系统、可视化系统的本质区别。
在右下角动图看到，在现实的交通流的基础上注入一些虚拟车辆，基于这些车辆我们去做研究工作，包括自动驾驶本车的决策，可以看到注入的虚拟车辆已经有在路上的感觉，它可以执行新的策略，进行自动变道等，这说明我们在现实数据的基础上，可以更好地应用这个系统。
另一方面，除了一些路口，我们可能需要城市视角去观察一个交通体系。我们有路口级仿真，可以支撑一个城市级的大规模交通仿真，从广义的视角去描述整个交通体系的设计。当然，路口本身可能会跟自动驾驶某一个车辆的决策行为是高度相关，从宏观上来说，更多是体现在一个城市的交通管理层面。基于强化学习也好，基于其他人工智能方法也好，在进行迭代升级时，实际上提供的环境可以更多地反映真实世界，利用这样一个环境去做更多的决策研究。
下面动图是我们和某头部车企合作完成的研究部分展示，左边是一个仿真视频，右边是路测视频，而且是实时的，利用这样一个环境来更好地研究我们的方法，最终的结果应该更具有实时性。
我们还做了一些增强现实的车辆在环系统，动图中间的摄像头是车载摄像头，实际路上是没有的，但是在虚拟环境下，我们可以实时注入车辆，在车辆在环的场景下，可以更好进行测试、验证。
最后我想说的是，基于强化学习和深度学习等方法进行决策时，需要融合更多的视角，从一个群体智能开始，然后再反过来观察单车的智能，以这种角度去研究。做车路协同自动驾驶，核心还是以单车感知智能为主，云端或路侧感知辅助，两者融合在一起实现上帝视角与自我视角的融合，具备更好的完整性。正是这些特性，实时孪生系统能够提供更好的支持，车路协同自动驾驶系统未来在做深度学习，尤其是基于实时孪生的深度学习时，可以为智能决策的研究提供更好的条件支撑。
我这次主要分享了实时孪生，尤其是在自动驾驶智能决策和验证方面的应用方向，也算是抛砖引玉，希望和其他研究者进行交流，利用这样一个系统，进行更深、更广的创新性方法研究和工程落地实践，我的分享就到这，谢谢大家。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：content@jiqizhixin.com
