计算机视觉 文本检测与文本识别 （一）

文本检测

• ​​传统文本检测​​

• ​​形态学：​​
• ​​MSER+NMS​​

• ​​深度学习文本检测分类​​

• ​​基于候选框的文本检测​​
• ​​基于分割的文本检测​​
• ​​基于混合的文本检测​​

传统文本检测

当前应用中面对文本检测会遇到很多难点：

• 文本图像的背景多样化，很多背景可能像素情况与文本结构相似
• 文本的形状和方向多样化，可能图像中文本的摆放方向是倾斜的，横向的
• 文本的颜色，字体多样化
• 图像中受光照等环境因素影响
  由于这些检测上的难点，传统基于opencv通过形态学、MSER+NMS的方法无法实现实际场景的文本检测。因此对于复杂场景下文本检测大多基于深度学习算法实现。

形态学：

import cv2
import numpy as np

# 读取图片
imagePath = 'data.jpg'
img = cv2.imread(imagePath)

# 转化成灰度图
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

# 利用Sobel边缘检测生成二值图
sobel = cv2.Sobel(gray, cv2.CV_8U, 1, 0, ksize=3)
# 二值化
ret, binary = cv2.threshold(sobel, 0, 255, cv2.THRESH_OTSU + cv2.THRESH_BINARY)

# 膨胀、腐蚀
element1 = cv2.getStructuringElement(cv2.MORPH_RECT, (30, 9))
element2 = cv2.getStructuringElement(cv2.MORPH_RECT, (24, 6))

# 膨胀一次，让轮廓突出
dilation = cv2.dilate(binary, element2, iterations=1)

# 腐蚀一次，去掉细节
erosion = cv2.erode(dilation, element1, iterations=1)

# 再次膨胀，让轮廓明显一些
dilation2 = cv2.dilate(erosion, element2, iterations=2)

# 查找轮廓和筛选文字区域
region = []
contours, hierarchy = cv2.findContours(dilation2, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
for i in range(len(contours)):
cnt = contours[i]

# 计算轮廓面积，并筛选掉面积小的
area = cv2.contourArea(cnt)
if (area < 1000):
continue

# 找到最小的矩形
rect = cv2.minAreaRect(cnt)
print ("rect is: ")
print (rect)

# box是四个点的坐标
box = cv2.boxPoints(rect)
box = np.int0(box)

# 计算高和宽
height = abs(box[0][1] - box[2][1])
width = abs(box[0][0] - box[2][0])

# 根据文字特征，筛选那些太细的矩形，留下扁的
if (height > width * 1.3):
continue

region.append(box)

# 绘制轮廓
for box in region:
cv2.drawContours(img, [box], 0, (0, 255, 0), 2)
cv2.imshow('img', img)
cv2.waitKey(0)
cv2.destroyAllWindows()

MSER+NMS

MSER全称叫做最大稳定极值区域（MSER-Maximally Stable Extremal Regions），是一种检测图像中文本区域的传统图像算法，主要是基于分水岭的思想来对图像进行斑点（blob）区域检测。

MSER对灰度图像取阈值进行二值化处理，阈值从0到255依次进行递增，阈值的递增类似于分水岭算法中的水平面的上升，随着水平面的上升，有一些山谷和较矮的丘陵会被淹没，如果从天空往下看，则整个区域被分为陆地和水域两个部分，这类似于二值图像。图像中灰度值的不同就对应地势高低的不同，每个阈值都都会生成一个二值图。

NMS的基本思想是将所有框按得分进行排序，然后无条件保留其中得分最高的框，然后遍历其余框找到和当前最高分的框的重叠面积（IOU）大于一定阈值的框，并删除。然后继续这个过程，找另一个得分高的框，再删除和其IOU大于阈值的框，一直循环直到所有的框都被处理。
NMS流程：

根据候选框的类别分类概率（得分），按最高到最低将BBox排序，例如：A>B>C>D>E>F

先标记最大概率矩形框A是要保留下来的，即A的分数最高，则无条件保留

将B~E分别与A求重叠率IoU（两框的交并比），假设B、D与A的IoU大于设定的阈值，那么B和D可以认为是重复标记被剔除

继续从剩下的矩形框C、E、F中选择概率最大的C，标记为要无条件保留下来的框，然后分别计算C与E、F的重叠度，扔掉重叠度超过设定阈值的矩形框

就这样一直重复下去，直到剩下的矩形框没有了，得到所有要保留下来的矩形框

MSER实现：

# 读取图片
imagePath = 'data.jpg'
img = cv2.imread(imagePath)

# 灰度化
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
vis = img.copy()
orig = img.copy()

# 调用 MSER 算法
mser = cv2.MSER_create()
regions, _ = mser.detectRegions(gray) # 获取文本区域
hulls = [cv2.convexHull(p.reshape(-1, 1, 2)) for p in regions] # 绘制文本区域
cv2.polylines(img, hulls, 1, (0, 255, 0))
cv2.imshow('img', img)
# 将不规则检测框处理成矩形框
keep = []
for c in hulls:
x, y, w, h = cv2.boundingRect(c)
keep.append([x, y, x + w, y + h])
cv2.rectangle(vis, (x, y), (x + w, y + h), (255, 255, 0), 1)
cv2.imshow("hulls", vis)

NMS实现：

# NMS 方法（Non Maximum Suppression，非极大值抑制）
def nms(boxes, overlapThresh):
if len(boxes) == 0:
return []

if boxes.dtype.kind == "i":
boxes = boxes.astype("float")

pick = []

# 取四个坐标数组
x1 = boxes[:, 0]
y1 = boxes[:, 1]
x2 = boxes[:, 2]
y2 = boxes[:, 3]

# 计算面积数组
area = (x2 - x1 + 1) * (y2 - y1 + 1)

# 按得分排序（如没有置信度得分，可按坐标从小到大排序，如右下角坐标）
idxs = np.argsort(y2)

# 开始遍历，并删除重复的框
while len(idxs) > 0:
# 将最右下方的框放入pick数组
last = len(idxs) - 1
i = idxs[last]
pick.append(i)

# 找剩下的其余框中最大坐标和最小坐标
xx1 = np.maximum(x1[i], x1[idxs[:last]])
yy1 = np.maximum(y1[i], y1[idxs[:last]])
xx2 = np.minimum(x2[i], x2[idxs[:last]])
yy2 = np.minimum(y2[i], y2[idxs[:last]])

# 计算重叠面积占对应框的比例，即 IoU
w = np.maximum(0, xx2 - xx1 + 1)
h = np.maximum(0, yy2 - yy1 + 1)
overlap = (w * h) / area[idxs[:last]]

# 如果 IoU 大于指定阈值，则删除
idxs = np.delete(idxs, np.concatenate(([last], np.where(overlap > overlapThresh)[0])))

return boxes[pick].astype("int")

深度学习文本检测分类

目前基于在深度学习的文本检测方法主要包括如下：

• 基于候选框的文本检测
• 基于分割的文本检测
• 基于两者方法混合文本检测

基于候选框的文本检测

思路：基于候选框文本检测，是利用像素特征提取，用若干个先验框产生一些对应的候选文本框。再经过非最大抑制（NMS）得到最终的预测结果

基于分割的文本检测

基于分割的文本检测，其基本思路是通过分割网络结构进行像素级别的语义分割，再基于分割的结果构建文本行

基于混合的文本检测