本文介绍了如何从零开始开发车牌对象检测模型。整体项目中还包含了一个使用Flask的API。在本文中我们将解释如何从头开始训练自定义对象检测模型。

项目架构

现在，让我们看看我们要构建的车牌识别和OCR的项目架构。

在上面的架构中，有六个模块。标记、训练、保存模型、OCR和模型管道，以及RESTful API。但是本文只详细介绍前三个模块。过程如下。首先，我们将收集图像。然后使用python GUI开发的开源软件图像标注工具对图像进行车牌或号牌的标注。然后在对图像进行标记后，我们将进行数据预处理，在TensorFlow 2中构建和训练一个深度学习目标检测模型(Inception Resnet V2)。完成目标检测模型训练过程后，使用该模型裁剪包含车牌的图像，也称为关注区域（ROI），并将该ROI传递给Python中的 Tesserac API。使用PyTesseract，我们将从图像中提取文本。最后我们将所有这些放在一起，并构建深度学习模型管道。在最后一个模块中，将使用FLASK Python创建一个Web应用程序项目。这样，我们可以将我们的应用程序发布供他人使用。

标注

为了建立车牌识别，我们需要数据。 为此，我们需要收集车牌出现在其上的车辆图像。 这对于图像标签，我使用了LabelImg图像标注工具。 从GitHub下载labelImg并按照说明安装软件包。 打开之后，GUI给出指示，然后单击CreateRectBox并绘制如下所示的矩形框，然后将输出保存为XML。

pip install pyqt=5 
pip install lxml 
pyrcc5 -o libs/resources.py resources.qrc 
python labelImg.py 
python labelImg.py [IMAGE_PATH] [PRE-DEFINED CLASS FILE

这是一个手动过程，您需要对所有图像进行处理。 标注时要注意，因为这个过程会直接影响模型的准确性。

从XML解析信息

完成标注过程后，现在我们需要进行一些数据预处理。

由于标注的输出是XML，为了将其用于训练过程，我们需要处理格式数据。 因此我们将从标签中获得有用的信息，例如它的边界框的对角点，分别是xmin，ymin，xmax，ymax，如图3所示 ，我们需要提取信息并将其保存为任何方便的格式，在这里，我将边界信息转换为CSV，随后，我将使用Pandas将其转换为数组。 现在，让我们看看如何使用Python解析信息。

我使用xml.etree python库来解析XML中的数据，并导入pandas和glob。 首先使用glob获取在标记过程中生成的所有XML文件。

import pandas as pd 
from glob import glob 
import xml.etree.ElementTree as xet 

path = glob(\'./images/*.xml\') 

labels_dict = dict(filepath=[],xmin=[],xmax=[],ymin=[],ymax=[]) 
for filename in path: 
info = xet.parse(filename) 
root = info.getroot() 
member_object = root.find(\'object\') 
labels_info = member_object.find(\'bndbox\') 
xmin = int(labels_info.find(\'xmin\').text) 
xmax = int(labels_info.find(\'xmax\').text) 
ymin = int(labels_info.find(\'ymin\').text) 
ymax = int(labels_info.find(\'ymax\').text) 
#print(xmin,xmax,ymin,ymax) 
labels_dict[\'filepath\'].append(filename) 
labels_dict[\'xmin\'].append(xmin) 
labels_dict[\'xmax\'].append(xmax) 
labels_dict[\'ymin\'].append(ymin) 
labels_dict[\'ymax\'].append(ymax)

在上面的代码中，我们分别获取每个文件并将其解析为xml.etree，然后找到对象-> bndbox，它位于第2至7行。然后提取xmin，xmax，ymin，ymax并将这些值保存在字典中 在第8至17行中。然后，将其转换为pandas的df，并将其保存到CSV文件中，如下所示。

df = pd.DataFrame(labels_dict) 
df.to_csv(\'labels.csv\',index=False) 
df.head()

通过以上代码，我们成功提取了每个图像的对角线位置，并将数据从非结构化格式转换为结构化格式。

现在，我们来提取XML的相应图像文件名。

import os 

def getFilename(filename): 
filename_image = xet.parse(filename).getroot().find(\'filename\').text 
filepath_image = os.path.join(\'./images\',filename_image) 
return filepath_image 

image_path = list(df[\'filepath\'].apply(getFilename)) 
image_path

验证数据

到目前为止，我们都是进行的手动处理，因此重要的是要验证所获得的信息是否有效。 我们只需验证边界框对于给定图像正确显示。

file_path = "N1.jpeg" 
xmin,xmax,ymin,ymax = 1093,1396,645,727 
img = cv2.imread(file_path) 
cv2.rectangle(img,(xmin,ymin),(ymin,ymax),(0,255,0),3) 
cv2.namedWindow(\'example\',cv2.WINDOW_NORMAL) 
cv2.imshow(\'example\',img) 
cv2.waitKey(0) 
cv2.destroyAllWindows()

数据处理

这是非常重要的一步，在此过程中，我们将获取每张图像，并使用OpenCV将其转换为数组，然后将图像调整为224 x 224，这是预训练的转移学习模型的标准兼容尺寸。

from sklearn.model_selection import train_test_split 
from tensorflow.keras.preprocessing.image import load_img, img_to_array 
import cv2 
import numpy as np 

labels = df.iloc[:,1:].values 

data = [] 
output = [] 
for ind in range(len(image_path)): 
image = image_path[ind] 
img_arr = cv2.imread(image) 
h,w,d = img_arr.shape 
# prepprocesing 
load_image = load_img(image,target_size=(224,224)) 
load_image_arr = img_to_array(load_image) 
norm_load_image_arr = load_image_arr/255.0 # normalization 
# normalization to labels 
xmin,xmax,ymin,ymax = labels[ind] 
nxmin,nxmax = xmin/w,xmax/w 
nymin,nymax = ymin/h,ymax/h 
label_norm = (nxmin,nxmax,nymin,nymax) # normalized output 
# -------------- append 
data.append(norm_load_image_arr) 
output.append(label_norm)

我们将通过除以最大数量来归一化图像，因为我们知道8位图像的最大数量为 255

我们还需要对标签进行规范化。 因为对于深度学习模型，输出范围应该在0到1之间。为了对标签进行归一化，我们需要将对角点除以图像的宽度和高度。

X = np.array(data,dtype=np.float32) 
y = np.array(output,dtype=np.float32)

sklearn的函数可以方便的将数据分为训练和测试集。

x_train,x_test,y_train,y_test = train_test_split(X,y,train_size=0.8,random_state=0) 
x_train.shape,x_test.shape,y_train.shape,y_test.shape

训练

现在我们已经可以准备训练用于对象检测的深度学习模型了。 本篇文章中，我们将使用具有预训练权重的InceptionResNetV2模型，并将其训练到我们的数据中。 首先从TensorFlow 2.3.0导入必要的库

from tensorflow.keras.applications import InceptionResNetV2 
from tensorflow.keras.layers import Dense, Dropout, Flatten, Input 
from tensorflow.keras.models import Model 
import tensorflow as tf

我们需要的是一个对象检测模型，而期望的输出数量是4（对角点的信息）。 我们将在迁移学习模型中添加一个嵌入神经网络层，如第5至9行所示。

inception_resnet = InceptionResNetV2(weights="imagenet",include_top=False, 
input_tensor=Input(shape=(224,224,3))) 
inception_resnet.trainable=False 
# --------------------- 
headmodel = inception_resnet.output 
headmodel = Flatten()(headmodel) 
headmodel = Dense(500,activation="relu")(headmodel) 
headmodel = Dense(250,activation="relu")(headmodel) 
headmodel = Dense(4,activation=\'sigmoid\')(headmodel) 
# ---------- model 
model = Model(inputs=inception_resnet.input,outputs=headmodel)

现在编译模型并训练模型

# complie model 
model.compile(loss=\'mse\',optimizer=tf.keras.optimizers.Adam(learning_rate=1e-4)) 
model.summary() 

from tensorflow.keras.callbacks import TensorBoard 
tfb = TensorBoard(\'object_detection\') 
history = model.fit(x=x_train,y=y_train,batch_size=10,epochs=200, 
validation_data=(x_test,y_test),callbacks=[tfb])

我们训练模型通常需要3到4个小时，具体取决于计算机的速度。 在这里,我们使用TensorBoard记录了中模型训练时的损失。

进行边界框预测

这是最后一步。 在这一步中，我们将所有这些放在一起并获得给定图像的预测。

# create pipeline 
path = \'./test_images/N207.jpeg\' 
def object_detection(path): 
# read image 
image = load_img(path) # PIL object 
image = np.array(image,dtype=np.uint8) # 8 bit array (0,255) 
image1 = load_img(path,target_size=(224,224)) 
# data preprocessing 
image_arr_224 = img_to_array(image1)/255.0 # convert into array and get the normalized output 
h,w,d = image.shape 
test_arr = image_arr_224.reshape(1,224,224,3) 
# make predictions 
coords = model.predict(test_arr) 
# denormalize the values 
denorm = np.array([w,w,h,h]) 
coords = coords * denorm 
coords = coords.astype(np.int32) 
# draw bounding on top the image 
xmin, xmax,ymin,ymax = coords[0] 
pt1 =(xmin,ymin) 
pt2 =(xmax,ymax) 
print(pt1, pt2) 
cv2.rectangle(image,pt1,pt2,(0,255,0),3) 
return image, coords 

# ------ get prediction 
path = \'./test_images/N207.jpeg\' 
image, cods = object_detection(path) 

plt.figure(figsize=(10,8)) 
plt.imshow(image) 
plt.show()

本文仅说明了项目架构的50％。 下一个过程涉及从车牌中提取文本并在Flask中开发RestfulAPI。 这里是完整项目的输出

作者：DEVI GUSKRA