基于Opencv的形状识别

前言：

一个简单的形状识别。

实验环境

Window 10、Visual Studio 2022、 opencv4.6

涉及到的一些知识

findContours寻找轮廓函数

1
2
3
4
5
6
7
8
9
10
11
CV_EXPORTS_W void findContours( InputArray image, OutputArrayOfArrays contours,
                              OutputArray hierarchy, int mode,
                              int method, Point offset = Point());

/** @overload */
CV_EXPORTS void findContours( InputArray image, OutputArrayOfArrays contours,
                              int mode, int method, Point offset = Point());

eg:
	vector<vector<Point>> contours;
	findContours(canny_img, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
  • image，单通道图像矩阵，可以是灰度图，但更常用的是二值图像，一般是经过Canny、拉普拉斯等边缘检测算子处理过的二值图像；
  • contours，定义为“vector<vector> contours”，是一个向量，并且是一个双重向量，向量内每个元素保存了一组由连续的Point点构成的点的集合的向量，每一组Point点集就是一个轮廓。 有多少轮廓，向量contours就有多少元素。
  • hierarchy，定义为“vector hierarchy”，先来看一下Vec4i的定义： typedef Vec<int, 4> Vec4i; Vec4i 是 Vec<int,4> 的别名，定义了一个“向量内每一个元素包含了4个int型变量”的向量。所以从定义上看，hierarchy也是一个向量，向量内每个元素保存了一个包含4个int整型的数组。向量hiararchy 内的元素和轮廓向量contours 内的元素是一一对应的，向量的容量相同。hierarchy向量内每一个元素的 4 个 int 型变量，分别表示第 i个轮廓的后一个轮廓、前一个轮廓、父轮廓、内嵌轮廓的索引编号。如果当前轮廓没有对应的后一个轮廓、前一个轮廓、父轮廓或内嵌轮廓的话，则相应位被设置为默认值-1。
  • mode，定义轮廓的检索模式：
  • method，定义轮廓的近似方法：
  • Point偏移量，所有的轮廓信息相对于原始图像对应点的偏移量，相当于在每一个检测出的轮廓点上加上该偏移量，并且Point还可以是负值！

mode 定义轮廓的检索模式：

  • CV_RETR_EXTERNAL：只检测最外围轮廓，包含在外围轮廓内的内围轮廓被忽略
  • CV_RETR_LIST：检测所有的轮廓，包括内围、外围轮廓，但是检测到的轮廓不建立等级关系，彼此之间独立，没有等级关系，这就意味着这个检索模式下不存在父轮廓或内嵌轮廓， 所以hierarchy向量内所有元素的第3、第4个分量都会被置为-1
  • CV_RETR_CCOMP：检测所有的轮廓，但所有轮廓只建立两个等级关系，外围为顶层，若外围内的内围轮廓还包含了其他的轮廓信息，则内围内的所有轮廓均归属于顶层
  • CV_RETR_TREE：检测所有轮廓，所有轮廓建立一个等级树结构。外层轮廓包含内层轮廓，内层轮廓还可以继续包含内嵌轮廓

method，定义轮廓的近似方法

  • CHAIN_APPROX_NONE：保存物体边界上所有连续的轮廓点到contours向量内
  • CHAIN_APPROX_SIMPLE 仅保存轮廓的拐点信息，把所有轮廓拐点处的点保存入contours向量内，拐点与拐点之间直线段上的信息点不予保留
  • CV_CHAIN_APPROX_TC89_L1，CV_CHAIN_APPROX_TC89_KCOS使用teh-Chinl chain 近似算法

该内容这位博主讲得很细，我这里只是做个简单的参数介绍。

findContours函数参数详解_-牧野-的博客-CSDN博客

approxPolyDP多边形拟合函数

1
2
3
4
5
6
7
8
CV_EXPORTS_W void approxPolyDP( InputArray curve, OutputArray approxCurve,
                                double epsilon, bool closed );

eg:
	vector<vector<Point>> contours;
	findContours(canny_img, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
	vector<vector<Point>> conPoly(contours.size()); 
	approxPolyDP(contours[i], conPoly[i], 0.02 * peri,true); // peri为周长
  • InputArray curve：输入的点集。
  • OutputArray approxCurve：输出的点集，当前点集是能最小包容指定点集的。画出来即是一个多边形。curve 和 approxCurve 应该属于同一类型。
  • double epsilon：指定的精度，也即是原始曲线与近似曲线之间的最大距离。（精度一般为周长的零点几倍即可）
  • bool closed：若为true，则说明近似曲线是闭合的；反之则为断开。

实验步骤

  1. 预处理图像
    1. 灰度化处理
    2. 边缘检测
  2. 寻找轮廓
  3. 多边形拟合提取边数
  4. 根据边数确定形状

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
#include<opencv2/opencv.hpp>
#include<iostream>

using namespace std;
using namespace cv;

void ShapeRecognition(Mat& src);

int main()
{
	Mat src = imread("G:\\opencv-python-image\\images\\gem_test.png");
	imshow("src", src);

	ShapeRecognition(src);

	imshow("result", src);

	waitKey(0);
	destroyAllWindows();
	return 0;
}

void ShapeRecognition(Mat& src)
{
	// 灰度化处理
	Mat gray;
	cvtColor(src, gray, COLOR_BGR2GRAY);
	imshow("gray", gray);
	// canny检测边缘
	Mat canny_img;
	Canny(gray, canny_img, 50, 150);
	imshow("canny_img", canny_img);
	// 膨胀 线条太细了
	Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
	dilate(canny_img, canny_img, kernel);
	imshow("canny_img", canny_img);
	// 轮廓查找
	vector<vector<Point>> contours;
	findContours(canny_img, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
	vector<vector<Point>> conPoly(contours.size());
	for (int i = 0; i < contours.size(); i++)
	{
		// 轮廓面积筛选 防止噪声的影响
		double area = contourArea(contours[i]); // 面积
		cout << "area: " << area << endl;
		double peri = arcLength(contours[i], true);	// 周长
		
		approxPolyDP(contours[i], conPoly[i], 0.02 * peri, true); // 多边形拟合

		int FoldLineSize = conPoly[i].size(); // 多边形拟合得到的折线数
		cout << i << " has :" << FoldLineSize << endl;

		Rect rect = boundingRect(conPoly[i]); // 绘制边界
		double ratio = double(rect.width) / double(rect.height); // 长宽比
		string shapeName; // 形状名
		if (FoldLineSize == 3)
		{
			// 三角形
			shapeName = "Triangle";
		}
		if (FoldLineSize == 4)
		{
			// 方形 进一步判断正方形和长方形 看长宽比
			if (ratio > 0.95 && ratio < 1.05)
			{
				shapeName = "Square";
			}
			else
			{
				shapeName = "Rectangle";
			}
		}
		if (FoldLineSize == 5)
		{
			shapeName = "Pentagon";
		}
		if (FoldLineSize == 6)
		{
			shapeName = "Hexagon";
		}
		if (FoldLineSize > 6)
		{
			// 圆形
			shapeName = "Circle";
		}
		rectangle(src, rect, Scalar(255, 255, 0), 2);
		putText(src, shapeName, Point(rect.x, rect.y - 5), FONT_HERSHEY_SIMPLEX, 1, Scalar(0, 0, 0), 2);
	}
}

实验图

Shape

result

要点

  1. 多边形拟合精度的选取
  2. 轮廓的检索模式，本文采取了RETR_EXTERNAL只检测最外围轮廓。

参考资料

OpenCV C++案例实战二十五《形状识别》_互动技术开发 形状识别_Zero___Chen的博客-CSDN博客

计算机视觉 OpenCV【七：应用之形状与轮廓检测】_opencv 识别非矩形轮廓_Kukeoo的博客-CSDN博客