作者：PRATEEK JOSHI
本文为一个从图像预处理角度入手的无人驾驶车道识别实战项目。
作者序
大约十年前，我瞥见了第一辆自动驾驶汽车，当时Google仍在对初代无人车进行测试，而我立刻被这个想法吸引了。诚然，在将这些概念开源给社区之前，我必须等待一段时间，但是这些等待是值得的。
我最近尝试了一些与计算机视觉有关的自动驾驶理念，其中包括车道检测。设想一下，在设计任何自动驾驶汽车时，车道检测都是一个非常核心的技术。我们将基于这段视频搭建车道检测系统：https://youtu.be/sYhZbhT-Smw。很酷对吧？我将使用OpenCV库，通过计算机视觉，引导你进入车道检测和自动驾驶这一领域。当然，在本教程中我们还将讲解Python代码。
对于任何深度学习或计算机视觉新手，请注意--如果你要入门，请查看以下课程及产品。这些资源可以很好的助力你开始计算机视觉之旅：
- 深度学习基础
https://courses.analyticsvidhya.com/courses/fundamentals-of-deep-learning
- 使用深度学习的计算机视觉
https://courses.analyticsvidhya.com/courses/computer-vision-using-deep-learning-version2
目录
1. 了解车道检测的概念
2. 问题陈述
3. 什么是帧蒙版（Frame Mask）？
4. 用于车道检测的图像预处理
5. 在Python中使用OpenCV进行车道检测实战
车道检测的概念
那么什么是车道检测？维基百科是这样定义车道的：“车道是道路（行车道）的一部分，专门用于单行车辆，以控制和引导驾驶员并减少交通冲突。”
Figure 1：https://en.wikipedia.org/wiki/Lane
对此进行正式定义很重要，因为它使我们能够在项目中使用固定的车道定义，这样在构建系统时我们不会产生任何歧义。
如我之前提到的，车道检测是自动驾驶的重要组成部分。它是推动场景理解的最重要的研究主题之一。一旦获得车道位置，车辆将知道要去哪里，并避免驶入其他车道或离开道路的风险。这可以防止驾驶员/驾驶系统偏离行车轨道。
以下是一些随机道路图像（第一行）及其检测到的车道（第二行）：
Figure 2 https://github.com/qinnzou/Robust-Lane-Detection
问题陈述
我们希望执行的任务是视频中的实时车道检测。我们可以通过多种方式做车道检测。可以使用样本训练的方法，例如在带有标注的视频数据集上训练深度学习模型，或者使用预先训练好的模型。
但是，也有更简单的方法来执行车道检测。在本文中，我将向你展示如何在不使用任何深度学习模型的情况下做到这一点。我们将在Python中用到广受欢迎的OpenCV库。
以下是我们将要处理的视频中的一帧：
如图片中所示，我们有四条用白色车道标记隔开的车道。因此要检测一条车道，我们必须检测到该车道两侧的白色标记。这就引出了关键问题 -- 我们如何检测车道标记线？
除了车道线外，场景中还有很多其他对象。道路上有车辆，路旁的障碍物，路灯等。在视频中，每一帧的场景都在变化。这很好地反映了现实生活中的驾驶情况。因此，在解决车道检测问题之前，我们必须找到一种方法来忽略驾驶场景中的无关物体。我们可以直接上手的一件事就是缩小关注范围。相较于使用整个帧，我们只使用画面中的一部分。在下图中，除车道标记外，其他所有内容都隐藏在该帧中。随着车辆的移动，车道标记只会在该区域出现得更多或更少。
在下一节，我将向你展示如何编辑视频的边框以选择特定区域。此外你还将了解一些必要的图像预处理操作。
什么是蒙版（Frame Mask）?
在这里，蒙版不过是一个NumPy数组。当我们想对图像应用遮罩时，我们只需将图像中所需区域的像素值更改为0或255，或任何其他数字。下面给出的是图像遮罩的示例。图像中某个区域的像素值已设置为0：
这是一种非常简单但有效的方法，可以从图像中删除不需要的区域和对象。
车道检测的图像预处理
我们将首先对输入视频中的所有帧应用蒙版。然后，我们将应用图像阈值处理，然后进行霍夫线变换来检测车道标记。
图像阈值处理
在该方法中，我们基于一个阈值，将灰度图像的像素值分配为黑色或者白色。如果像素的值大于阈值，则为其分配一个值（黑色或白色），否则为另一个颜色。
如你在上方所见，在对蒙版图像应用阈值设置后，我们在输出的图像中只留下了车道标记。现在，我们可以借助霍夫线变换轻松地检测到这些标记。
霍夫线变换
霍夫变换是一种检测可以数学表示的形状的技术。
例如，它可以检测矩形，圆形，三角形或直线等形状。而我们关注的对象是可以表示为线的车道标记。我非常建议你查阅霍夫变换的资料：
https://opencvpythontutroals.readthedocs.io/en/latest/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html
在执行图像阈值处理后，在图像上应用霍夫线变换，我们将得到以下的输出图像：
我们需要针对所有帧执行此过程，然后将生成的帧拼接到新视频中。
在Python中使用OpenCV实现车道检测
现在该用Python实现这个车道检测项目了！我建议使用Google Colab，因为构建车道检测系统将需要很大计算力。
首先，导入所需的库：
代码语言：javascript复制import os
import re
import cv2
import numpy as np
from tqdm import tqdm_notebook
import matplotlib.pyplot as plt读取视频帧
我已经从该YouTube视频中采样了一些视频帧。您可以从此链接下载。
https://drive.google.com/file/d/1e4cc4zFFna3Owyym6aq7ZXoquHA2l95O/view
代码语言：javascript复制# get file names of frames
col_frames = os.listdir('frames/')
col_frames.sort(key=lambda f: int(re.sub('D', '', f)))
# load frames
col_images=[]让我们绘制其中一帧：
代码语言：javascript复制# specify frame index
idx = 457
# plot frame
plt.figure(figsize=(10,10))
plt.imshow(col_images[idx][:,:,0], cmap= "gray")
创建帧蒙版
我们感兴趣的区域是多边形。我们要掩盖除此区域以外的所有内容。因此，我们首先必须指定多边形的坐标，然后使用它来准备蒙版：
代码语言：javascript复制# create a zero array
stencil = np.zeros_like(col_images[idx][:,:,0])
# specify coordinates of the polygon
polygon = np.array([[50,270], [220,160], [360,160], [480,270]])
# fill polygon with ones
cv2.fillConvexPoly(stencil, polygon, 1)
# plot polygon
plt.figure(figsize=(10,10))
plt.imshow(stencil, cmap= "gray")
plt.show()
# apply polygon as a mask on the frame
img = cv2.bitwise_and(col_images[idx][:,:,0], col_images[idx][:,:,0], mask=stencil)
# plot masked frame
plt.figure(figsize=(10,10))
plt.imshow(img, cmap= "gray")
plt.show()图像预处理
我们必须对视频帧执行几个图像预处理操作，以检测所需的车道。预处理操作为：
1. 图像阈值处理
2. 霍夫线变换
1.图像阈值处理
代码语言：javascript复制# apply image thresholding
ret, thresh = cv2.threshold(img, 130, 145, cv2.THRESH_BINARY)
# plot image
plt.figure(figsize=(10,10))
plt.imshow(thresh, cmap= "gray")
plt.show()
2. 霍夫线变换
代码语言：javascript复制lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
# create a copy of the original frame
dmy = col_images[idx][:,:,0].copy()
# draw Hough lines
for line in lines:
x1, y1, x2, y2 = line[0]
cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
# plot frame
plt.figure(figsize=(10,10))
plt.imshow(dmy, cmap= "gray")
plt.show()现在，我们将所有这些操作应用于每个帧。我们还将结果帧保存在新目录中：
代码语言：javascript复制cnt = 0
for img in tqdm_notebook(col_images):
# apply frame mask
masked = cv2.bitwise_and(img[:,:,0], img[:,:,0], mask=stencil)
# apply image thresholding
ret, thresh = cv2.threshold(masked, 130, 145, cv2.THRESH_BINARY)
# apply Hough Line Transformation
lines = cv2.HoughLinesP(thresh, 1, np.pi/180, 30, maxLineGap=200)
dmy = img.copy()
# Plot detected lines
try:
for line in lines:
x1, y1, x2, y2 = line[0]
cv2.line(dmy, (x1, y1), (x2, y2), (255, 0, 0), 3)
cv2.imwrite('detected/' str(cnt) '.png',dmy)
except TypeError:
cv2.imwrite('detected/' str(cnt) '.png',img)
cnt = 1视频预处理
代码语言：javascript复制# input frames path
pathIn= 'detected/'
# output path to save the video
pathOut = 'roads_v2.mp4'
# specify frames per second
fps = 30.0
from os.path import isfile, join
# get file names of the frames
files = [f for f in os.listdir(pathIn) if isfile(join(pathIn, f))]
files.sort(key=lambda f: int(re.sub('D', '', f)))接下来，我们将所有包含检测到的车道的帧放入列表中：
代码语言：javascript复制frame_list = []
for i in tqdm_notebook(range(len(files))):
filename=pathIn files[i]
#reading each files
img = cv2.imread(filename)
height, width, layers = img.shape
size = (width,height)
#inserting the frames into an image array
frame_list.append(img)最后，我们现在可以使用以下代码将帧组合成视频：
代码语言：javascript复制# write the video
out = cv2.VideoWriter(pathOut,cv2.VideoWriter_fourcc(*'DIVX'), fps, size)
for i in range(len(frame_array)):
# writing to a image array
out.write(frame_array[i])
out.release()搞定！这就是你的Python车道检测系统。
总结
在本教程中，我们介绍了一种简单的车道检测技术。我们没有使用任何模型或复杂的图像功能。相反，我们的解决方案仅基于某些图像预处理操作。
但是，在许多情况下，此解决方案将不起作用。例如，当没有车道标记或道路上的交通过多时，该系统将发生故障。在车道检测中有更复杂的方法可以克服此类问题。如果你对自动驾驶汽车的概念感兴趣，我希望你继续探索这个话题。
原文标题：
Hands-On Tutorial on Real-Time Lane Detection using OpenCV (Self-Driving Car Project!)
原文链接：
https://www.analyticsvidhya.com/blog/2020/05/tutorial-real-time-lane-detection-opencv/
