Waymo的技术在公开道路上、封闭测试场、仿真器进行了广泛的测试，所以可以保证自动驾驶系统的每一部分在其ODD内都有强大、可靠、安全的处理能力。
Waymo的自动驾驶系统由三个相互独立、严格测试的子系统组成：
1）经过OEM认证的基础车辆系统；
2）传感器和计算机等内部硬件系统；
3）做出所有驾驶决策的自动驾驶软件系统；
这些子系统组合起来构成一个完整的自动驾驶系统，然后我们对其进行进一步的测试和验证。对各个系统的测试和验证可以确保自动驾驶车辆满足我们对系统设定的所有安全要求。
3. Testing and Validation Methods
3.1 基础车辆系统的测试验证
Waymo的当前的自动驾驶车辆是2017年克莱斯勒-帕西菲卡混合动力小型货车的改进版，我们将自驾系统集成到其中。菲亚特克莱斯勒汽车公司(简称“FCA”)出售给我们的改进型2017年克莱斯勒-帕西菲卡混合小型货车已获得联邦机动车辆安全标准(FMVSS)认证，该标准规定了美国机动车辆或机动车辆设备的安全性能要求。
3.2 传感器和硬件系统的测试验证
1）构建安全可靠的供应链系统
Waymo与供应商和分销商共同保证系统组件的性能、安全、质量和可靠性。我们将供应商提供的系统组件引入到故障模式、影响分析(FMEA)和风险评估过程中，并在与其它子系统进行集成时，检测识别其在制造过程、独立系统或其它系统集成时的潜在安全风险。我们监控产品制造过程中各个子部件的表现，并进行持续的可靠性测试，以确保它们在集成到我们的车辆中之前满足设计期望和安全要求。
2）Testing At Every Level
我们多层次的安全测试方法受到美国宇航局发射火星探测器的工程经验的影响(火星探测器是在距离地球数百万英里的地方运行的一种自动驾驶车辆)。
这种方法意味着我们需要对最底层的组件进行分析和测试，以确保我们最关键的系统的性能和可靠性。例如，我们的视觉(摄像头)系统在安装到车辆系统后，要在实验室中进行100多次单独的测试。
首先，我们对组成视觉系统的各个摄像头、电缆和连接器等部件进行检查，以确保每个部件都符合设计规范。当相机完成集成之后，我们再次进行测试，将每个摄像头组装成一个环形，将它们校准后一起工作，检查每个摄像头的角度和方向结合在一起是否能够构成360度全景。
然后进行整个相机系统的测试。组装好的摄像机被添加到自动驱动系统中，由我们的工程师进行测试，以确保不同传感器能够像一个传感器一样协同工作。
在使用这种新的视觉系统上路之前，我们执行诸如在各种照明条件下看到交通信号灯、检测行人和发现建筑工地等任务以确认视觉系统正在发挥作用。所有测试通过之后，视觉系统作为自动驾驶车辆的一部分才被允许上路。
3）硬件系统测试
通过FCA和Waymo之间的技术合作，我们设计并在由FCA提供的改进型克莱斯勒-帕西菲卡混合小型货车上集成了Waymo的自动驾驶传感器和硬件系统。为了确保我们已经将自动驾驶系统正确地集成到了克莱斯勒-帕西菲卡混合动力小型货车中，Waymo对集成的小型货车在私人测试道路、实验室以及模拟器上进行了数千次附加测试，用于评估车辆从制动、转向、前照灯和车门物理控制等安全功能。通过这些测试，我们可以确保车辆在手动模式，有测试驾驶员的情况下自动驾驶模式以及在车内没有人的情况下完全自动驾驶模式等所有场景下的安全运行。
3.3 自动驾驶软件系统测试
我们的自动驾驶软件也是以我们的安全设计理念为指导，不断严格地测试软件的各个组成部分，包括感知、行为预测和规划等。软件的每一次更改都必须通过模拟测试、封闭道路测试和公共道路驾驶测试。
Simulation Testing
我们确定车辆在公共道路上遇到的最具挑战性的情况，并将其转换为虚拟场景，以便自动驾驶软件在仿真器中不断验证。
Closed-Course Testing
新版自动驾驶软件首先被推送到几辆车上，最有经验的驾驶员就可以在我们的私人测试道路上进行测试。我们可以为不同的车辆使用不同版本的软件，以便测试新的研发功能或特定功能。
Real-World Driving
一旦我们确认自动驾驶软件运行符合预期，我们就开始在公共道路上部署新的软件。首先小范围测试，自驾车辆必须证明它们能够安全、始终如一地按预定路线行驶后，我们将软件更新推送到整个车队。随着自动行驶里程的增加，我们根据车辆的运行反馈持续的改进我们的驾驶方式和软件系统。
3.4 仿真系统
Waymo的模拟器可以重现我们使用每一个新软件版本的真实世界驾驶行为，还可以为我们的软件构建全新的虚拟场景以供测试。每天多达25000辆虚拟Waymo自动驾驶车辆在仿真器中行驶800万英里，验证旧技术改进，测试新技术效果，帮助自动驾驶车辆安全的在现实世界驾驶。
例如在亚利桑那州梅萨市的南隆摩街和南部西大街的拐角处，有一个黄色的闪烁箭头表示左转，这种类型的交叉口对人类和自动驾驶车辆来说都很棘手，驾驶员必须进入五车道交叉口，然后在迎面而来的车辆中找到一个间隙，过早的左转可能会对迎面而来的车辆造成危险，过晚的左转可能会使后面的驾驶员感到不满。仿真模拟让我们把这样的一次真实世界的遭遇变成成千上万的练习和掌握技能的机会。
Waymo engineers build virtual scenarios that allow our self-driving vehicles to drive up to 8 million simulated miles each day.
Our self-driving vehicle encounters a flashing yellow left turn arrow in Mesa, Arizona.
How Simulation Works
Step 1：Start with a Highly-Detailed Vision of the World
我们构建了一套包含车道、路缘、交通灯、交叉路口等在内的虚拟副本，在仿真中，我们可以将注意力集中在最具挑战性的场景上，如黄色信号灯闪烁、逆行的车辆司机或快速骑行的自行车手，而不仅仅是单调的累积公路里程。
We can recreate a highly-detailed, realistic virtual version of the East Valley.
Step 2: Drive, Drive, and Redrive
当闪烁的黄色左转在虚拟世界中数字化后，我们的软件可以成千上万次的调试验证这个场景。每次更新软件时，我们都可以在不同的驾驶条件下在同一个交叉口测试验证。这就是我们如何教会我们的车辆在黄灯闪烁的情况下自然向前，并插入到迎面而来的车流中。此外，我们可以在已经遇到的每一个闪烁的黄色闪烁灯的场景上测试这个新技能，以便更快地升级改进我们的软件系统。
In simulation, we can practice driving the same intersection, in the same driving conditions thousands of times, with different vehicles from our fleet. In this image, we’re simulating driving the intersection with one of our Lexus vehicles.
Step 3: Create Thousands of Variations
接下来，我们可通过一个称为”fuzzing”的过程来探索闪烁黄灯类似的数千种不同的变异场景。我们改变迎面驶来的车辆的速度和交通灯的时间，以确保我们的车辆仍然能在交通流中找到安全的间隙；通过增加模拟行人、摩托车分隔车道，甚至慢跑者在街道上之字形穿行等等。所有这些都可以让场景变得更加复杂，看看这会如何改变自动驾驶系统的响应方式。
through a process called fuzzing, we can alter the speed, trajectory and position of objects on these virtual streets.
Step 4: Validate and Iterate
我们的自动驾驶汽车已经学会了如何自信地在一个闪烁的黄色箭头路口行驶，这项新技术就成为我们永久性知识库的一部分，在整个车队的所有车辆中共享。然后我们将使用真实世界的驾驶测试和封闭道路测试来验证是否与仿真场景驾驶行为相符。仿真和真实的驾驶行为交互迭代验证，一起实现自动驾驶的目标：在现实世界中，实现数十亿英里的安全和稳定驾驶。
To make a scene more complex, we can add vehicles, pedestrians and cyclists that never existed in the original scene.
3.5 Field Tests at Our Closed-Course Facility
Waymo在加利福尼亚州建立了一个占地91英亩的私人封闭式自动驾驶测试设施，专门为我们自己独特的测试需求而设计和建造。这座被称为“Castle”的私人建筑就像一座模拟城市，包括从高速路到郊区车道再到铁路交叉口的所有场景。我们的团队在新软件发布到我们的车队之前，使用这些封闭场景的测试设施来测试验证新软件。此外，我们利用封闭自动驾驶场地构建有挑战性或者罕见的道路场景，以帮助我们的自动驾驶系统获取相应的驾驶经验。在封闭场地中，我们能够重新创建特定的学习和测试场景，并且对其进行数千次“结构化测试”。为了加强仿真测试的效果，我们在”Castle”封闭场地中创建了20000多个模拟场景，每一个是我们想要驾驶场景的再现：一个咄咄逼人的司机从车道上疾驰而出，或者一个行人突然从一辆停着的车旁出现，这些场景在公共道路上可能需要数十万英里的行驶距离才能遇到一次。此外还有人们从帆布袋或便携式厕所里跳到路边，滑板运动员躺在滑板上在传感器前扔纸堆等场景，这种“结构化测试”对于加速我们的技术进步和确保我们的车辆在日常和具有挑战性的驾驶环境中的安全至关重要。
3.6 Behavioral Competencies for Normal Driving
完全自动驾驶车辆必须能够在ODD内处理所有人类驾驶员期望的日常驾驶任务。美国交通部建议3级、4级和5级自动驾驶车辆应能够演示至少具备28项核心能力，Waymo在广度和深度上扩展了28项核心能力，而且我们测试了数千种复杂场景变化，确保我们的系统能够安全的应对现实环境的挑战。
对于每个能力，Waymo的团队创建了各种各样的单独测试，在我们的封闭场地中反复模拟运行。例如，为了测试我们进行无保护左转的能力，我们设计了几十种真实情况(包括多车道迎面而来的车辆、大卡车挡住我们的视野、短红绿灯场景下的转弯等等)，并测试我们的车辆是否做出了适当的反应。
对于每一个场景，我们都使用模拟器来创建相同场景的的数百种变化。通过我们的虚拟世界测试，我们还可以创建全新的无保护左转场景，以便进一步测试这种技能。随着我们ODD的扩展，核心能力的数量可能会增加(例如，要在美国北部各州全年驾驶，我们的系统必须具备在雪地中安全驾驶的能力)，并且每个类别中的测试数量可能会随着更独特或更复杂的场景而增加。
3.7 Testing the Fully Integrated Self-Driving Vehicle
在分别对基础车辆系统、自驱动系统和软件系统进行测试后，需要对集成的完整自动驾驶车辆进行测试。这些测试包括封闭式道路避碰测试、可靠性和耐久性测试，以及训练有素的测试驾驶员进行实际道路测试。
Testing on Public Roads
Waymo有一个全面的公路测试流程，这个流程在八年的时间中经过了不断改进和完善。这是自动驾驶的一个关键步骤，使我们能够验证我们已经开发的技能，发现新的挑战场景和开发新的驾驶能力。
实际公路测试的安全性始于严格培训的司机，我们的测试驾驶员接受了广泛的课堂培训，了解整个系统的运行流程，以及如何在公路上安全监控车辆(包括参加防御性驾驶课程)。经过培训后，我们的驾驶员在道路测试时负责监控系统，并在需要时，接管车辆的控制权。
我们每周进行数万英里的开放道路测试，用于评估我们的软件系统，以确保它们展示出人类司机的行为能力。真实世界测试提供了一个连续的反馈循环，让我们不断地完善我们的系统。这种公共道路测试验证的迭代方法有助于我们安全的扩展我们的ODD和技术能力。
3.8 Real-World Experience
在过去的八年中，Waymo在美国四个州，20多个城市测试了我们的自动驾驶车辆。从亚利桑那州的凤凰城到华盛顿州的多柯克兰市累计行驶了350多万英里。当我们扩展到新的测试地域时，我们能够在不同的道路环境、街景和驾驶习惯中收集更多的驾驶经验。例如，在凤凰城驾驶使我们能够在沙漠条件下测试传感器和软件，包括极端温度和空气中的灰尘；我们学会了如何处理特殊类型的车辆(比如在道路中间喷洒植物的洒水车，以3英里/小时的速度在45英里/小时的道路上行驶)；在奥斯汀第一次遇到了水平交通信号；在柯克兰遇到了潮湿天气的场景。
在每一个新城市，我们都会遇到不习惯每天看到自动驾驶汽车的人，这也让我们能够了解人们对于自动驾驶汽车的看法：比如人们希望如何使用自动驾驶汽车；他们对自动驾驶有什么看法；以及更多的人一起告诉我们如何开发和改进自驾技术。
我们的自动驾驶汽车需要在极端寒冷和高温下可靠、安全地运行。高温给所有现代技术带来了挑战，手机等日常电子产品在阳光下使用时会过热并关闭，然而，我们的自动驾驶系统需要在高温条件下安全运行。我们的汽车配备了一个特殊的冷却系统，可以让它们在非常热(即使发动机在满功率运行，系统在满负荷运行)的温度下工作。我们的工程师在风洞中进行了广泛的测试，几乎可以模拟任何天气条件，包括有史以来地球上最热的温度。
除了风洞测试，我们还在美国三个最热的地方测试了我们的自动驾驶汽车：拉斯维加斯、戴维斯大坝和死亡谷。位于亚利桑那州和内华达州边界的戴维斯大坝，有一段陡峭的沙漠公路，允许我们在炎热的太阳下驾车；拉斯维加斯大道让我们可以在酷热繁忙的街道上测试我们的系统；死亡谷拥有地球官方记录的最高温度134华氏度的记录。
在测试过程中，我们会密切监控我们的系统，每秒进行200多次不同的测量，以确认我们的内部传感器套件和计算能够正常工作。
3.9 Testing Crash Avoidance Capabilities
除了测试核心行为能力外，我们的工程师还跨各种场景进行碰撞避免测试。Waymo在我们的私人测试道路上完成了数千次防撞测试，每个单独的测试都会重现一个独特的驾驶场景，并允许我们分析车辆的响应，然后我们使用模拟器进一步测试这些场景，并改进我们的整体软件能力。
我们从各种不同的来源学习要测试的碰撞，其中包括我们对NHTSA致命车祸数据库，以及利用我们丰富的自驾车辆操作经验来扩展NHTSA的37个车祸前场景。我们还测试了其他道路使用者造成潜在危险情况的情况，例如车辆突然从车道上驶出，大型车辆横穿目标车道，摩托车穿越交通，行人乱穿马路。
2015年，国家公路交通安全管理局公布了最常见车祸前情景分布的数据。例如，其中四类车祸占了总车祸场景的84%：追尾事故(rear end crashes)、在交叉口转弯或者交叉行驶(vehicles turning or crossing at an intersection)、在道路边缘行驶的车辆(vehicles running off the edge of the road)以及变换车道的车辆(vehicles changing lanes)。因此，避免或减轻这些类型的事故是我们测试的一个重要目标。
3.10 Hardware Reliability and Durability Testing
自动驾驶车辆和传统车辆一样，必须可靠运行，这意味着车辆及其每个单独部件必须在极端环境条件下和车辆的整个使用寿命内正常工作。
Waymo工程师利用对物理故障的了解设计了独特的压力测试，加速了对我们的车辆及其各个部件的环境测试，我们将多年的实际使用压缩为几天和几周的测试。比如我们用紫外线照射我们的部件，用强大的喷水器轰击它们，把它们浸入几乎冻结的水缸中，在充满盐雾的房间中腐蚀它们，用强大的震动震动它们，然后在特定温度和湿度下加热和冷冻它们数周。我们分析任何测试中发生的故障并进行设计改进，以提高组件的可靠性。我们监控每个传感器和车辆本身的健康状况，以便在潜在故障发生之前识别和修复它们。
