一、车牌识别简介
随着科学技术的发展，人工智能技术在我们的生活中的应用越来越广泛，人脸识别、车牌识别、目标识别等众多场景已经落地应用，给我们的生活品质得到很大的提升，办事效率大大提高，同时也节约了大量的劳动力。
今天我们来讲一讲车牌识别这个任务，车牌识别技术经过多年的发展，技术路线也呈现多样化，我们来介绍一下其中的两种：
第一种，单个字符识别
首先，在地面上有传感器感应区域，当有车辆经过时自动进行拍照，然后对拍的照片进行预处理，变成灰度图像，去除噪声等，把一些干扰因素去掉，同时降低图像的大小，便于后期进行边缘提取；
其次，利用边缘提取技术，比如canny算子、sobel算子，把图像轮廓提取出来，根据车牌长宽比大概为1:2.5左右把大部分不疑似的去掉；然后，再利用图像灰度值在水平方向和竖直方向上的投影，将字符切割出来；
最后，利用模板匹配或者是已经训练好的深度学习模型进行识别，单独把每个字符识别后进行串联得到整张车牌号码。
这种方法的瓶颈在于怎么样把每一个字符准确地切割出来，这涉及到很多图像处理技术，比如高斯模糊、图像锐化、图像膨胀、伽马变化、仿射变换等等，目前对于英文字符和数字的识别准确度在96%左右，汉字识别的准确度在95%左右。
第二种办法，整张车牌识别
首先，与第一种车牌识别一样，利用传感器进行车辆感应，把整辆车进行拍照；
其次，利用训练好的车牌检测算法，比如YOLO算法或者其他的目标检测算法把车牌检测出来。为了提升车牌识别的准确度，可以利用图像预处理技术对图像进行处理，降低干扰项；
最后，利用已经训练好的深度学习模型对整张车牌进行识别。比如LPRNet、Darknet等
二、车牌识别技术实现
## 第一种方法 ——利用 pytesseract 进行识别
pytesseract是一个OCR识别工具，具体的 pytesseract 安装可百度安装，直接使用这个工具进行识别得到的准确度还有点低，达不到理想的效果，需要利用车牌数据进行训练才可以使用。
import cv2 as cv
from PIL import Image
import pytesseract as tess
def recoginse_text(image):
"""
步骤：
1、灰度，二值化处理
2、形态学操作去噪
3、识别
:param image:
:return:
"""
# 灰度 二值化
gray = cv.cvtColor(image,cv.COLOR_BGR2GRAY)
# 如果是白底黑字 建议 _INV
ret,binary = cv.threshold(gray,0,255,cv.THRESH_BINARY_INV| cv.THRESH_OTSU)
# 形态学操作 (根据需要设置参数（1，2）)
kernel = cv.getStructuringElement(cv.MORPH_RECT,(1,2)) #去除横向细线
morph1 = cv.morphologyEx(binary,cv.MORPH_OPEN,kernel)
kernel = cv.getStructuringElement(cv.MORPH_RECT, (2, 1)) #去除纵向细线
morph2 = cv.morphologyEx(morph1,cv.MORPH_OPEN,kernel)
cv.imshow("Morph",morph2)
# 黑底白字取非，变为白底黑字（便于pytesseract 识别）
cv.bitwise_not(morph2,morph2)
textImage = Image.fromarray(morph2)
# 图片转文字
text=tess.image_to_string(textImage)
print("识别结果：%s"%text)
def main():
# 读取需要识别的数字字母图片，并显示读到的原图
src = cv.imread(r'C:\Users\lenovo\Desktop\00A8CX87_5.jpg')
cv.imshow("src",src)
# 识别
recoginse_text(src)
cv.waitKey(0)
cv.destroyAllWindows()
if __name__=="__main__":
main()
## 第二种识别办法——PaddleOCR
PaddleOCR 是百度paddlepaddle下的OCR模块，可以用它来识别车牌，直接下载预训练模型进行识别，对于数字和子母都得到不错的准确率，但是针对中文识别的效果并不理想，需要自己的数据集进行再训练。
要想利用这个模型进行训练车牌识别，需要大量的车牌数据，人工收集不仅耗费时间长，要涉及每个省份的车牌需要比较大的成本。
另外的办法是利用图像处理技术进行数据生成，加上图像增强技术来制作数据集，这将在我们的第三章识别方法中讲到。
from paddleocr import PaddleOCR
import os
# ocr = PaddleOCR(use_gpu=False, use_angle_cls=True, lang="ch")
ocr = PaddleOCR(use_gpu=True, use_angle_cls=True, lang="ch")
path=r'E:\车牌数据'
results=[]
for file in os.listdir(path):
img_path =os.path.join(path,file)
result = ocr.ocr(img_path, cls=True)
if len(result)>0:
results.append([img_path,result[0][1][0]])
else:
results.append([img_path])
将结果导出到Excel文件夹
import pandas as pd
resultss=pd.DataFrame(results)
resultss.to_excel(r'C:\Users\lenovo\Desktop\11.xlsx')
## 第三种办法 ——LPRNet算法 由于要收集满足深度学习的数据需要花费大量的时间，有一种办法是通过数据生成的办法生成大量的模拟数据集。
紧接着，我们可以利用LPRNet算法进行车牌识别，从GitHub上下载有tensorflow、torch两个版本。
第一步，生成蓝色车牌数据集 第二步，根据算法模型要求将图像名称修改并放到指定的文件夹中 第三步，模型训练和测试
## (1) 蓝色车牌生成
import os
import cv2 as cv
import numpy as np
from math import *
from PIL import ImageFont
from PIL import Image
from PIL import ImageDraw
index = {"京": 0, "沪": 1, "津": 2, "渝": 3, "冀": 4, "晋": 5, "蒙": 6, "辽": 7, "吉": 8, "黑": 9,
"苏": 10, "浙": 11, "皖": 12, "闽": 13, "赣": 14, "鲁": 15, "豫": 16, "鄂": 17, "湘": 18, "粤": 19,
"桂": 20, "琼": 21, "川": 22, "贵": 23, "云": 24, "藏": 25, "陕": 26, "甘": 27, "青": 28, "宁": 29,
"新": 30, "0": 31, "1": 32, "2": 33, "3": 34, "4": 35, "5": 36, "6": 37, "7": 38, "8": 39,
"9": 40, "A": 41, "B": 42, "C": 43, "D": 44, "E": 45, "F": 46, "G": 47, "H": 48, "J": 49,
"K": 50, "L": 51, "M": 52, "N": 53, "P": 54, "Q": 55, "R": 56, "S": 57, "T": 58, "U": 59,
"V": 60, "W": 61, "X": 62, "Y": 63, "Z": 64}
chars = ["京", "沪", "津", "渝", "冀", "晋", "蒙", "辽", "吉", "黑",
"苏", "浙", "皖", "闽", "赣", "鲁", "豫", "鄂", "湘", "粤",
"桂", "琼", "川", "贵", "云", "藏", "陕", "甘", "青", "宁",
"新", "0", "1", "2", "3", "4", "5", "6", "7", "8",
"9", "A", "B", "C", "D", "E", "F", "G", "H", "J",
"K", "L", "M", "N", "P", "Q", "R", "S", "T", "U",
"V", "W", "X", "Y", "Z"]
def AddSmudginess(img, Smu):
"""
模糊处理
:param img: 输入图像
:param Smu: 模糊图像
:return: 添加模糊后的图像
"""
rows = r(Smu.shape[0] - 50)
cols = r(Smu.shape[1] - 50)
adder = Smu[rows:rows + 50, cols:cols + 50]
adder = cv.resize(adder, (50, 50))
img = cv.resize(img,(50,50))
img = cv.bitwise_not(img)
img = cv.bitwise_and(adder, img)
img = cv.bitwise_not(img)
return img
def rot(img, angel, shape, max_angel):
"""
添加透视畸变
"""
size_o = [shape[1], shape[0]]
size = (shape[1]+ int(shape[0] * cos((float(max_angel ) / 180) * 3.14)), shape[0])
interval = abs(int(sin((float(angel) / 180) * 3.14) * shape[0]))
pts1 = np.float32([[0, 0], [0, size_o[1]], [size_o[0], 0], [size_o[0], size_o[1]]])
if angel > 0:
pts2 = np.float32([[interval, 0], [0, size[1]], [size[0], 0], [size[0] - interval, size_o[1]]])
else:
pts2 = np.float32([[0, 0], [interval, size[1]], [size[0] - interval, 0], [size[0], size_o[1]]])
M = cv.getPerspectiveTransform(pts1, pts2)
dst = cv.warpPerspective(img, M, size)
return dst
def rotRandrom(img, factor, size):
"""
添加放射畸变
:param img: 输入图像
:param factor: 畸变的参数
:param size: 图片目标尺寸
:return: 放射畸变后的图像
"""
shape = size
pts1 = np.float32([[0, 0], [0, shape[0]], [shape[1], 0], [shape[1], shape[0]]])
pts2 = np.float32([[r(factor), r(factor)], [r(factor), shape[0] - r(factor)], [shape[1] - r(factor), r(factor)],
[shape[1] - r(factor), shape[0] - r(factor)]])
M = cv.getPerspectiveTransform(pts1, pts2)
dst = cv.warpPerspective(img, M, size)
return dst
def tfactor(img):
"""
添加饱和度光照的噪声
"""
hsv = cv.cvtColor(img,cv.COLOR_BGR2HSV)
hsv[:, :, 0] = hsv[:, :, 0] * (0.8 + np.random.random() * 0.2)
hsv[:, :, 1] = hsv[:, :, 1] * (0.3 + np.random.random() * 0.7)
hsv[:, :, 2] = hsv[:, :, 2] * (0.2 + np.random.random() * 0.8)
img = cv.cvtColor(hsv, cv.COLOR_HSV2BGR)
return img
def random_envirment(img, noplate_bg):
"""
添加自然环境的噪声, noplate_bg为不含车牌的背景图
"""
bg_index = r(len(noplate_bg))
env = cv.imread(noplate_bg[bg_index])
env = cv.resize(env, (img.shape[1], img.shape[0]))
bak = (img == 0)
bak = bak.astype(np.uint8) * 255
inv = cv.bitwise_and(bak, env)
img = cv.bitwise_or(inv, img)
return img
def GenCh(f, val):
"""
生成中文字符
"""
img = Image.new("RGB", (45, 70), (255, 255, 255)) #白色
# img = Image.new("RGB", (45, 70), (0, 0, 0)) #黑色
draw = ImageDraw.Draw(img)
# draw.text((0, 3), val, (0, 0, 0), font=f)
draw.text((0, 3), val, (0, 0, 0), font=f)
img = img.resize((23, 70))
A = np.array(img)
return A
def GenCh1(f, val):
"""
生成英文字符
"""
img =Image.new("RGB", (23, 70), (255,255,255))#白色
# img =Image.new("RGB", (23, 70), (0, 0, 0))#黑色
draw = ImageDraw.Draw(img)
draw.text((0, 2), val, (0,125,125), font=f) # val.decode('utf-8')
A = np.array(img)
return A
def AddGauss(img, level):
"""
添加高斯模糊
"""
return cv.blur(img, (level * 2 + 1, level * 2 + 1))
def r(val):
return int(np.random.random() * val)
def AddNoiseSingleChannel(single):
"""
添加高斯噪声
"""
diff = 255 - single.max()
noise = np.random.normal(0, 1 + r(6), single.shape)
noise = (noise -