前面目标检测1: 目标检测20年综述之(一)和目标检测2: 目标检测20年综述之(二)让大家对目标检测有个大概的认识，机器学习评价指标合辑(Precision/Recall/F1score/P-R曲线/ROC曲线/AUC)介绍了基础的评价指标，如Precision、Recall、F score等概念，目标检测3: Detection基础之IoU中介绍了目标检测的评价指标IoU，接下来我们介绍目标检测最重要的评价指标mAP。
因公众号内容无法修改，如果排版有问题，可以参考知乎专栏对应文章：
https://zhuanlan.zhihu.com/p/506922713 。
1. mAP及相关概念
目标检测任务是对图像或视频中常见的物体进行分类，并确定其位置。那么怎么评价目标检测模型的性能呢，最常见的指标就是mAP，mAP全称mean Average Precision, 即各类别AP的平均值，而AP则是P-R曲线下的面积，那么mAP就是在0～1之间所有recall值的precision的平均值。
前面文章中已经介绍了Precision和Recall的计算方式，其中Precision = TP / ( TP FP )，Recall = TP / (TP FN)，那么我们只需确定TP、FP和FN，就可以计算出Precision和Recall，从而绘制P-R曲线，计算每个类别的AP，然后取各类别AP的平均值，就得到mAP。
在目标检测任务中，TP是IoU大于阈值的检测框数量 (同一Ground Truth只计算一次)；FP是IoU小于阈值的检测框，或者是检测到同一个GT的多余检测框的数量；FN是没有检测到的GT的数量。
通过上面的分析，我们已经明确了mAP的概念与计算方式，那么实际计算中是如何进行的呢？
2. AP和PR曲线的面积
根据前面的定义，要计算mAP必须先绘出各类别的PR曲线，然后计算各类别AP。下面介绍计算AP的几种方式。
1.1 积分求解
AP是PR曲线下的面积，可以通过积分来求解，即
1.2 插值求解
通常情况下都是使用估算或者插值的方式计算
（1）估算计算方式
（2）插值计算方式
公式中k是每一个样本点的索引，参与计算的是所有样本点，是取第 k 个样本点之后的样本中的最大值。
3. VOC的两种插值方式
关于如何采样PR曲线，VOC采用过两种不同方法，详见The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Development Kit。在VOC2010以前，只需要选取当Recall >= 0, 0.1, 0.2, ..., 1共11个点时的Precision最大值，然后AP就是这11个Precision的平均值。在VOC2010及以后，需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值。
3.1 11点插值
在VOC10之前，采用11点插值方式。首先通过平均一组11个等间距的Recall值[0,0.1,0.2，...，1]对应的Precision来绘制P-R曲线。计算precision时，对于某个recall值r，precision值取所有recall>=r中的最大值（这样保证了p-r曲线是单调递减的，避免曲线出现抖动）。
3.2 所有样本点插值
VOC2010开始，不再是对召回率在[0,1]之间的均匀分布的11个点，而是对每个不同的recall值都计算一个ρinterp(r)，然后求平均，r取recall>=r 1的最大precision值。
4. mAP计算示例
下面通过示例来解释插值AP。
下图有7张图像，其中15个GT目标用绿色框表示，24个检测到的物体由红色框表示。每个检测到的物体由字母（A，B，...，Y）标识，且具有置信度分数。
下表显示了具有相应置信度的边界框，最后一列将检测标识为TP或FP。在此示例中，如果IOU>=30％，则作为TP，否则是FP。根据上面的图像，我们可以判断检测结果是TP还是FP。
在一些图像中，存在多于一个与同一个ground truth重叠的检测结果（图像2,3,4,5,6和7）。对于这些情况，选择具有最高IOU的检测框，丢弃其他框。为了绘制P-R曲线，首先需要通过置信度对检测结果进行排序，然后计算每个检测结果的precision和recall，如下表所示：
根据precision和recall值绘制P-R曲线如下图
如前所述，有两种不同的方法可以计算量插值AP：11点插值和所有点插值。下面分别进行计算：
4.1 计算11点插值AP
11点插值AP是在一组11个recall levels（0,0.1，...，1）处的平均精度。插值精度值是通过采用其recall大于当前recall值的最大precision获得，如下图所示：
通过使用11点插值，我们得到
4.2 计算所有点插值AP
插值所有点方法中，AP可以看作P-R曲线的AUC的近似值，目的是减少曲线中摆动的影响。通过应用之前给出的公式，我们可以获得这里将要展示的区域。我们还可以通过查看从最高（0.4666）到0（从右到左看图）的recall来直观地获得插值precision，并且当我们减少recall时，我们获得最高的precision值如下图所示：
我们可以将上图的AUC划分下图所示的为4个区域（A1，A2，A3和A4）：
计算总面积，即可得到AP：
两种不同插值方法之间的结果略有不同：分别通过每点插值和11点插值分别为24.56％和26.84％。
5. VOC方式代码实现
Facebook开源的Detectron包含VOC数据集的mAP计算，这里贴出其核心实现，以对mAP的计算有更深入的理解。
5.1 读取xml文件
代码语言：javascript复制def parse_rec(filename):
"""Parse a PASCAL VOC xml file."""
tree = ET.parse(filename)
objects = []
for obj in tree.findall('object'):
obj_struct = {}
obj_struct['name'] = obj.find('name').text
obj_struct['pose'] = obj.find('pose').text
obj_struct['truncated'] = int(obj.find('truncated').text)
obj_struct['difficult'] = int(obj.find('difficult').text)
bbox = obj.find('bndbox')
obj_struct['bbox'] = [int(bbox.find('xmin').text),
int(bbox.find('ymin').text),
int(bbox.find('xmax').text),
int(bbox.find('ymax').text)]
objects.append(obj_struct)
return objects5.2 计算precision和recall
模型的输出包含bbox和对应的置信度(confidence)，首先按照置信度降序排序，每添加一个样本，阈值就降低一点（真实情况下阈值降低，iou不一定降低，iounet就是对这里进行了改进）。这样就有多个阈值，每个阈值下分别计算对应的precision和recall。
代码语言：javascript复制# 计算每个类别对应的AP，mAP是所有类别AP的平均值
def voc_eval(detpath,
annopath,
imagesetfile,
classname,
cachedir,
ovthresh=0.5,
use_07_metric=False):
"""rec, prec, ap = voc_eval(detpath,
annopath,
imagesetfile,
classname,
[ovthresh],
[use_07_metric])
Top level function that does the PASCAL VOC evaluation.
detpath: Path to detections
detpath.format(classname) should produce the detection results file.
annopath: Path to annotations
annopath.format(imagename) should be the xml annotations file.
imagesetfile: Text file containing the list of images, one image per line.
classname: Category name (duh)
cachedir: Directory for caching the annotations
[ovthresh]: Overlap threshold (default = 0.5)
[use_07_metric]: Whether to use VOC07's 11 point AP computation
(default False)
"""
# assumes detections are in detpath.format(classname)
# assumes annotations are in annopath.format(imagename)
# assumes imagesetfile is a text file with each line an image name
# cachedir caches the annotations in a pickle file
# first load gt
if not os.path.isdir(cachedir):
os.mkdir(cachedir)
imageset = os.path.splitext(os.path.basename(imagesetfile))[0]
cachefile = os.path.join(cachedir, imageset '_annots.pkl')
# read list of images
with open(imagesetfile, 'r') as f:
lines = f.readlines()
imagenames = [x.strip() for x in lines]
if not os.path.isfile(cachefile):
# load annots
recs = {}
for i, imagename in enumerate(imagenames):
recs[imagename] = parse_rec(annopath.format(imagename))
if i % 100 == 0:
logger.info(
'Reading annotation for {:d}/{:d}'.format(
i 1, len(imagenames)))
# save
logger.info('Saving cached annotations to {:s}'.format(cachefile))
with open(cachefile, 'w') as f:
cPickle.dump(recs, f)
else:
# load
with open(cachefile, 'r') as f:
recs = cPickle.load(f)
# 提取所有测试图片中当前类别所对应的所有ground_truth
# extract gt objects for this class
class_recs = {}
npos =
# 遍历所有测试图片
for imagename in imagenames:
# 找出所有当前类别对应的object
R = [obj for obj in recs[imagename] if obj['name'] == classname]
# 该图片中该类别对应的所有bbox
bbox = np.array([x['bbox'] for x in R])
difficult = np.array([x['difficult'] for x in R]).astype(np.bool)
# 该图片中该类别对应的所有bbox的是否已被匹配的标志位
det = [False] * len(R)
# 累计所有图片中的该类别目标的总数，不算diffcult
npos = npos sum(~difficult)
class_recs[imagename] = {'bbox': bbox,
'difficult': difficult,
'det': det}
# read dets
detfile = detpath.format(classname)
with open(detfile, 'r') as f:
lines = f.readlines()
splitlines = [x.strip().split(' ') for x in lines]
# 某一行对应的检测目标所属的图像名
image_ids = [x[0] for x in splitlines]
# 读取该目标对应的置信度
confidence = np.array([float(x[1]) for x in splitlines])
# 读取该目标对应的bbox
BB = np.array([[float(z) for z in x[2:]] for x in splitlines])
# 将该类别的检测结果按照置信度大小降序排列
sorted_ind = np.argsort(-confidence)
BB = BB[sorted_ind, :]
image_ids = [image_ids[x] for x in sorted_ind]
# 该类别检测结果的总数（所有检测出的bbox的数目）
# go down dets and mark TPs and FPs
nd = len(image_ids)
# 用于标记每个检测结果是tp还是fp
tp = np.zeros(nd)
fp = np.zeros(nd)
# 按置信度遍历每个检测结果
for d in range(nd):
# 取出该条检测结果所属图片中的所有ground truth
R = class_recs[image_ids[d]]
bb = BB[d, :].astype(float)
ovmax = -np.inf
BBGT = R['bbox'].astype(float)
# 计算与该图片中所有ground truth的最大重叠度
if BBGT.size > 0:
# compute overlaps
# intersection
ixmin = np.maximum(BBGT[:, 0], bb[0])
iymin = np.maximum(BBGT[:, 1], bb[1])
ixmax = np.minimum(BBGT[:, 2], bb[2])
iymax = np.minimum(BBGT[:, 3], bb[3])
iw = np.maximum(ixmax - ixmin 1., 0.)
ih = np.maximum(iymax - iymin 1., 0.)
inters = iw * ih
# union
uni = ((bb[2] - bb[0] 1.) * (bb[3] - bb[1] 1.)
(BBGT[:, 2] - BBGT[:, 0] 1.) *
(BBGT[:, 3] - BBGT[:, 1] 1.) - inters)
overlaps = inters / uni
ovmax = np.max(overlaps)
jmax = np.argmax(overlaps)
# 如果最大的重叠度大于一定的阈值
if ovmax > ovthresh:
# 如果最大重叠度对应的ground truth为difficult就忽略
if not R['difficult'][jmax]:
# 如果对应的最大重叠度的ground truth以前没被匹配过则匹配成功，即tp
if not R['det'][jmax]:
tp[d] = 1.
R['det'][jmax] = 1
# 若之前有置信度更高的检测结果匹配过这个ground truth，则此次检测结果为fp
else:
fp[d] = 1.
# 该图片中没有对应类别的目标ground truth或者与所有ground truth重叠度都小于阈值
else:
fp[d] = 1.
# 按置信度取不同数量检测结果时的累计fp和tp
# np.cumsum([1, 2, 3, 4]) -> [1, 3, 6, 10]
# compute precision recall
fp = np.cumsum(fp)
tp = np.cumsum(tp)
# 召回率为占所有真实目标数量的比例，非减的，注意npos本身就排除了difficult，因此npos=tp fn
rec = tp / float(npos)
# 精度为取的所有检测结果中tp的比例
# avoid divide by zero in case the first detection matches a difficult
# ground truth
prec = tp / np.maximum(tp fp, np.finfo(np.float64).eps)
# 计算recall-precise曲线下面积（严格来说并不是面积）
ap = voc_ap(rec, prec, use_07_metric)
return rec, prec, ap这里最终得到一系列的precision和recall值，并且这些值是按照置信度降低排列统计的，可以认为是取不同的置信度阈值（或者rank值）得到的。
5.3 计算AP
代码语言：javascript复制def voc_ap(rec, prec, use_07_metric=False):
"""Compute VOC AP given precision and recall. If use_07_metric is true, uses
the VOC 07 11-point method (default:False).
"""
# VOC2010以前按recall等间隔取11个不同点处的精度值做平均(0., 0.1, 0.2, …, 0.9, 1.0)
if use_07_metric:
# 11 point metric
ap = 0.
for t in np.arange(0., 1.1, 0.1):
if np.sum(rec >= t) == 0:
p = 0
else:
# 取recall大于等于阈值的最大precision，保证precision非减
p = np.max(prec[rec >= t])
ap = ap p / 11.
# VOC2010以后取所有不同的recall对应的点处的精度值做平均
else:
# correct AP calculation
# first append sentinel values at the end
mrec = np.concatenate(([0.], rec, [1.]))
mpre = np.concatenate(([0.], prec, [0.]))
# 计算包络线，从后往前取最大保证precise非减
# compute the precision envelope
for i in range(mpre.size - 1, 0, -1):
mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])
# 找出所有检测结果中recall不同的点
# to calculate area under PR curve, look for points
# where X axis (recall) changes value
i = np.where(mrec[1:] != mrec[:-1])[0]
# and sum (Delta recall) * prec
# 用recall的间隔对精度作加权平均
ap = np.sum((mrec[i 1] - mrec[i]) * mpre[i 1])
return ap计算各个类别的AP值后，取平均值就可以得到最终的mAP值了。但是对于COCO数据集相对比较复杂，不过其提供了计算的API，感兴趣可以看一下cocodataset/cocoapi。
6. PASCAL数据集mAP计算方式
PASCAL VOC最终的检测结构，以comp3_det_test_car.txt为例
代码语言：javascript复制000004 0.702732 89 112 516 466
000006 0.870849 373 168 488 229
000006 0.852346 407 157 500 213
000006 0.914587 2 161 55 221
000008 0.532489 175 184 232 201每一行依次为
代码语言：javascript复制 <image identifier> <confidence> <left> <top> <right> <bottom>每一行都是一个bounding box，后面四个数定义了检测出的bounding box的左上角点和右下角点的坐标。
在计算mAP时，如果按照二分类问题理解，那么每一行都应该对应一个标签，这个标签可以通过ground truth计算出来。
但是如果严格按照 ground truth 的坐标来判断这个bounding box是否正确，那么这个标准就太严格了，因为这是属于像素级别的检测，所以PASCAL中规定当一个bounding box与ground truth的 IOU>0.5 时就认为这个框是正样本，标记为1；否则标记为0。这样一来每个bounding box都有个得分，也有一个标签，这时你可以认为前面的文件是这样的，后面多了一个标签项
代码语言：javascript复制000004 0.702732 89 112 516 466 1
000006 0.870849 373 168 488 229 0
000006 0.852346 407 157 500 213 1
000006 0.914587 2 161 55 221 0
000008 0.532489 175 184 232 201 1进而你可以认为是这样的，后面的标签实际上是通过坐标计算出来的
代码语言：javascript复制000004 0.702732 1
000006 0.870849 0
000006 0.852346 1
000006 0.914587 0
000008 0.532489 1这样一来就可以根据前面博客中的二分类方法计算AP了。但这是某一个类别的，将所有类别的都计算出来，再做平均即可得到mAP。
7. COCO数据集AP计算方式
COCO数据集里的评估标准比PASCAL 严格许多，COCO检测出的结果是json文件格式，如下所示，
代码语言：javascript复制[
{
"image_id": 139,
"category_id": 1,
"bbox": [
431.23001,
164.85001,
42.580002,
124.79
],
"score": 0.16355941
},
……
……
]我们还是按照前面的形式来便于理解：
代码语言：javascript复制000004 0.702732 89 112 516 466
000006 0.870849 373 168 488 229
000006 0.852346 407 157 500 213
000006 0.914587 2 161 55 221
000008 0.532489 175 184 232 201前面提到可以使用IOU来计算出一个标签，PASCAL用的是 IOU>0.5即认为是正样本，但是COCO要求IOU阈值在[0.5, 0.95]区间内每隔0.05取一次，这样就可以计算出10个类似于PASCAL的mAP，然后这10个还要再做平均，即为最后的AP，COCO中并不将AP与mAP做区分，许多论文中的写法是 AP@[0.5:0.95]。而COCO中的 AP@0.5 与PASCAL 中的mAP是一样的。
8. 参考资料
[1] 目标检测中的mAP是什么含义
[2] Object-Detection-Metrics
[3] 目标检测mAP计算方式
[4] 目标检测评价标准-AP mAP
[5] 目标检测模型的评估指标mAP详解(附代码）
[6] How to calculate mAP for detection task for the PASCAL VOC Challenge
