ECCV18|这篇论文开源的车牌识别系统打败了目前最先进的商业软件(附Github地址)

2019-12-27 14:34:20 浏览数 (1)

来自巴西阿雷格里港大学的学者发表于ECCV2018的论文《License Plate Detection and Recognition in Unconstrained Scenarios》,给出了一整套完整的车牌识别系统设计,着眼于解决在非限定场景有挑战的车牌识别应用,其性能优于目前主流的商业系统,代码已经开源,非常值得参考。 作者信息:

先来看看作者发布的demo视频:

展示了该系统在室外环境,角度变换等场景强大的车牌定位、识别能力。

很多车牌识别论文中常用的数据库往往是正面拍摄的,但实际应用中,各种可能的情况都有,作者首先给出了一些对车牌识别有挑战的数据示例:

该文提出的系统很好的解决了这类有挑战的车牌识别问题。

系统架构

作者提出的车牌识别系统,包含车牌识别的所有环节,主要有三大步骤:车辆检测、车牌检测与校正、OCR。 下图展示了整个系统流程:

输入图像首先使用YOLOv2进行车辆检测(作者使用原始的YOLOv2,没有做任何改动),检测到的车辆图像再输入到WPOD-NET网络,进行车牌检测和车票卷曲校正系统的回归,然后对车牌进行校正输入到OCR-Net网络,识别出车牌字符。

WPOD-NET用于车牌区域检测于校正系统回归示意图:

平面目标的全卷积网络检测,对于系统输出的车牌区域特征图,划分成(m,n)个cell,查找高目标概率的cell,根据这些cell的位置,计算将该区域转换成方形车牌的仿射系数。

WPOD-NET架构图

为训练WPOD-NET对数据进行了各种常规的数据增广:

车牌识别OCR部分使用一种改进的YOLO网络,其架构如下:

为训练该OCR系统也进行了大量数据增广:

为评估该系统,作者收集了常用的数据集,并自建了挑战的数据集CD-HARD。

实验结果 作者将该文系统与目前主流的商业车牌识别系统相比较,包括OpenALPR、Sighthound、Amazon Rekognition。

在整个数据集上取得了远超过其他系统的性能,在OpenALPR数据集上取得了与最好系统相匹敌的性能,尤其在具有挑战的CD-HARD数据集上取得了异常明显的性能优势。

一些校正并识别后的车牌示例:

运行速度 在配置为Intel Xeon CPU 、12Gb RAM、 NVIDIA Titan X GPU的机器上,平均达到5fps。

工程主页: http://www.inf.ufrgs.br/~crjung/alpr-datasets/

https://github.com/sergiomsilva/alpr-unconstrained

0 人点赞