https://rdd2020.sekilab.global/overview/
GRDDC'2020 数据集是从印度、日本和捷克收集的道路图像。包括三个部分：Train, Test1, Test2。训练集包括带有 PASCAL VOC 格式 XML 文件标注的道路图像。在给参赛者的数据Test1 和 Test2 中是没有标注。train则包含标注。
数据分布如下：
三个数据集和三个国家的图像分布统计
训练数据中每种损坏类型的实例数
GRDD 挑战赛的评估标准是F1-Score。
对于参赛者提交的预测结果，如果预测满足以下两个标准，则认为它是正确的。
- predicted bounding box 与 ground truth bounding box 之间的重叠区域超过 50%，即 IoU > 0.5。
- 预测的标签与实际的标签相匹配，如图像的标注文件中所指定的（ground truth）。
评估脚本比较两个输入文件以及计算所提交的 F1-Score。F1-Score 为精确率和召回率的调和平均数，精确度是真阳性与所有预测阳性的比率。召回率是真正的阳性结果与所有实际阳性结果的比率。
各参数的细节如下：
- 真阳性（TP）：ground truth 中存在一个损害实例，并且该实例的标签和边界框被正确预测，IoU>0.5。
- 假阳性（FP）：当模型预测了图像中某一特定位置的损害实例，但该实例并不存在于图像的 ground truth 中。也包括了预测标签与实际标签不匹配的情况。
- 假阴性（FN）：当一个损害实例出现在 ground truth 中，但模型无法预测正确的标签或该实例的边界框。
召回率：
F1指标对召回和精度的权重相等。因此，参赛者需要在两者都有中等水平的表现，而不是在其中一个方面表现突出，在另一个方面表现不佳。
冠军团队
项目 代码 获取方式：
关注微信公众号 datadyx 然后回复 道路 即可获取。
AI项目体验地址 https://loveai.tech
IMSC团队(Hedge等，来自美国南加州大学和约旦德国约旦大学)，提出方法基于 ultralytics-YOLO (u-YOLO) [YOLOv5, 2020]，并应用了测试时数据增强（TTA），提高了模型的鲁棒性。TTA 通过对每张测试图像进行多次变换（如水平翻转、提高图像分辨率）并生成新的图像来进行数据增广。
新的图像与现有图像一起被输入到训练好的 u-YOLO 模型中。因此，对应于每一个测试图像，使用增强的图像生成多个预测。在此过程中产生的重复或重叠的预测使用非极大抑制（NMS）算法进行过滤。整个方法被称为集成预测（Ensemble Prediction，EP）。
除了 EP，该团队还提出了另一种方法，称为集成模型（EM）。顾名思义，EM是将 u-YOLO 模型的不同变体进行集成。鉴于训练一个 u-YOLO 模型涉及到调整不同的超参数，使用这些参数的不同组合会产生不同的训练模型。作者选择这些模型的一个子集，以使它们的整体精度最大化。每幅图像都会在所有选定的模型上测试，然后对每个模型的预测结果进行平均，最后应用非极大抑制。这种集成技术通过降低预测方差实现了更好的准确性。
团队的最终方案是将这两种方法结合起来，Ensemble Model with Ensemble Prediction（EM EP）。可以想象每幅图像的测试时间肯定是很长的，但好在这只是比赛。
当然作者也比较了三种方法(EM、EP和EM EP)在速度和精度方面的表现。统计结果显示，虽然在(EM EP)的情况下，准确率得到了提高，达到了最高的 F1-score(测试1为0.67)（大力出奇迹啊！），而如果用每幅图像的检测时间来衡量，该方法在检测速度方面是最差的。
获胜团队的最后得分及代码如下：
Test1-Score：0.6748
Test2-Score：0.6662
（这个结果是远超第二名的！）
