¶ 颜色形状识别
¶ HSV颜色空间
HSV颜色空间是一种用于颜色处理的颜色空间，它代表了颜色的三个基本属性：色调（Hue）、饱和度（Saturation）和亮度（Value）。
- 色调H：反映了色彩的基本属性，通常被描述为从红色开始，沿着彩虹的顺序测量，范围为0-360度。例如，红色对应的色调为0度，绿色为120度，蓝色为240度。
- 饱和度S：表示色彩的纯度或深浅度。它反映了颜色的强度或纯度，其取值范围是从0到1，或从0%到100%。在饱和度为零时，颜色变为灰度。
- 亮度V：表示颜色的亮度或明暗度。它也取值于0到1的范围，描述了色彩的明亮程度。
总的来说，HSV颜色空间以更接近人类视觉感知的方式来描述颜色，使得颜色的表示更为直观和易于理解。
Python
import cv2
# 读取图片
image = cv2.imread('color_shape.jpeg')
# 将图片从BGR颜色空间转换为HSV颜色空间
hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 显示原始图片和HSV图片
cv2.imshow('Original Image', image)
cv2.imshow('HSV Image', hsv_image)
# 等待用户按下任意键退出
cv2.waitKey(0)
# 关闭所有窗口
cv2.destroyAllWindows()
使用上述代码将图片从BGR转到HSV颜色空间。
它们的取值范围如下：
- H（色调）的取值范围是0-180。
- S（饱和度）的取值范围是0-255。
- V（亮度）的取值范围是0-255。
根据上图我们可以知道，红色的色调的（0-10）和（170-180），我们接下来提取红色颜色。
¶ 基于颜色的二值化
一般，我们会使用二值化的方法提取颜色；
import cv2
import numpy as np
# 读取图片
image = cv2.imread('color_shape.jpeg')
# 将图片从BGR颜色空间转换为HSV颜色空间
hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 定义红色在HSV中的范围
lower_red_1 = np.array([0, 50, 50]) # HSV中的红色下限 (0, 50, 50)
upper_red_1 = np.array([10, 255, 255]) # HSV中的红色上限 (10, 255, 255)
lower_red_2 = np.array([170, 50, 50]) # HSV中的红色下限 (170, 50, 50)
upper_red_2 = np.array([180, 255, 255]) # HSV中的红色上限 (180, 255, 255)
# 创建红色掩膜
mask_1 = cv2.inRange(hsv_image, lower_red_1, upper_red_1)
mask_2 = cv2.inRange(hsv_image, lower_red_2, upper_red_2)
mask = mask_1 | mask_2 # 合并两个掩膜
cv2.imshow('Mask', mask)
# 对原始图片和掩膜进行位运算，提取红色区域
red_image = cv2.bitwise_and(image, image, mask=mask)
# 显示原始图片和提取的红色区域
cv2.imshow('Original Image', image)
cv2.imshow('Red Extracted', red_image)
# 等待用户按下任意键退出
cv2.waitKey(0)
# 关闭所有窗口
cv2.destroyAllWindows()
cv2.inRange() 函数是二值化的核心，用于创建一个掩膜，可以看到掩膜其实也是一个跟原图像素相同的图像，满足颜色阈值的区域在这个图像中像素是255，不满足的像素是0。
最后，使用 cv2.bitwise_and() 函数对原始图片和掩膜进行位运算，以提取出红色区域。
cv2.bitwise_and 是 OpenCV 中的一个函数，用于对两个数组或图像执行按位与操作。
该操作会对应地比较两个输入数组的每一个位，并在输出数组中为每个位置设置相应的位。
函数定义如下：
cv2.bitwise_and(src1, src2, dst=None, mask=None)
参数说明：
- src1：第一幅输入图像。
- src2：第二幅输入图像，大小和类型与 src1 相同。
- dst：输出图像，大小和类型与 src1 相同。
- mask：可选操作掩膜，必须是 8 位单通道图像，大小与 src1 相同。此参数用来指定只对部分像素进行按位与操作。
这个函数通常用于图像处理中的掩膜操作。例如，你可以使用 cv2.bitwise_and 来提取图像的特定区域或对图像进行某种特定的按位操作。
一个简单的例子：假设你有两个二进制图像，你希望在不改变其他像素的情况下，将其中一个图像中的某个区域复制到另一个图像中。
在这种情况下，你可以使用 cv2.bitwise_and 与一个掩膜来实现这个操作。
注意：在使用 cv2.bitwise_and 时，确保输入图像的大小和数据类型是相同的，否则可能会导致错误或不预期的结果。
结果如下所示：
这样我们就把颜色“抠“出来了；
¶ 形态学运算
形态学运算是一种应用于图像处理领域的技术，主要用于描述和处理图像中的形状和结构。形态学运算基于形状的图像处理技术，通过结构元素与图像进行特定运算来改变图像的形态和特征。
其中，结构元素是一种小型、预定义的形状，如矩形、圆形或椭圆形，可以与图像中的像素进行匹配。
形态学运算包括多种基本操作，如腐蚀（Erosion）、膨胀（Dilation）、开运算（Opening）和闭运算（Closing）。
- 腐蚀操作可以消除边界点，使边界向内部收缩，可以用来消除小且无意义的物体。
- 膨胀操作则是将与物体接触的所有背景点合并到该物体中，使边界向外扩张，可以用来填补物体中的空洞。
- 开运算是指先腐蚀后膨胀的过程，用来消除小物体、在纤细点处分离物体、平滑较大物体的边界的同时并不明显改变其面积。
- 闭运算则是指先膨胀后腐蚀的过程，用来填充物体内细小空洞、连接邻近物体、平滑边界的同时并不明显改变其面积。
形态学在图像处理中应用广泛，如图像分割、边缘检测、文本识别、计算机视觉等领域中。
通过形态学运算，可以有效地提取图像中的特征、消除噪声、改变图像的形状等，为图像处理和计算机视觉任务提供有力的支持。
import cv2
import numpy as np
# 读取图片
image = cv2.imread('color_shape.jpeg')
# 将图片从BGR颜色空间转换为HSV颜色空间
hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 定义红色在HSV中的范围
lower_red_1 = np.array([0, 50, 50]) # HSV中的红色下限 (0, 50, 50)
upper_red_1 = np.array([10, 255, 255]) # HSV中的红色上限 (10, 255, 255)
lower_red_2 = np.array([170, 50, 50]) # HSV中的红色下限 (170, 50, 50)
upper_red_2 = np.array([180, 255, 255]) # HSV中的红色上限 (180, 255, 255)
# 创建红色掩膜
mask_1 = cv2.inRange(hsv_image, lower_red_1, upper_red_1)
mask_2 = cv2.inRange(hsv_image, lower_red_2, upper_red_2)
mask = mask_1 | mask_2 # 合并两个掩膜
cv2.imshow('Mask', mask)
# 定义一个结构元素，这里使用3x3的矩形作为示例
kernel = np.ones((5, 5), np.uint8)
# 对掩膜进行腐蚀操作
erosion_mask = cv2.erode(mask, kernel, iterations=1)
# 对掩膜进行膨胀操作
dilation_mask = cv2.dilate(mask, kernel, iterations=1)
cv2.imshow('Erosion Mask', erosion_mask)
cv2.imshow('Dilation Mask', dilation_mask)
# 对原始图片和掩膜进行位运算，提取红色区域
red_image = cv2.bitwise_and(image, image, mask=mask)
# 显示原始图片和提取的红色区域
#cv2.imshow('Original Image', image)
#cv2.imshow('Red Extracted', red_image)
# 等待用户按下任意键退出
cv2.waitKey(0)
# 关闭所有窗口
cv2.destroyAllWindows()
这里我们使用形态学运算的目的，首先，形态学运算能够帮助去除图像中的噪声。
通过腐蚀操作，可以将边界上的像素点去除，使得颜色区域更加清晰，减少噪声的干扰。
这样可以在后续的颜色提取过程中，更准确地定位到目标颜色的区域。
其次，形态学运算可以用来填补颜色区域内的空洞。通过膨胀操作，可以将与目标颜色接触的背景像素点合并到颜色区域中，从而使得颜色区域更加完整。
这对于一些存在断裂或者空洞的颜色区域非常有效。
此外，形态学运算还可以用来平滑颜色区域的边界。
通过开运算和闭运算的组合使用，可以在不改变颜色区域面积的情况下，平滑边界的毛刺和不规整部分，使得提取出的颜色区域更加规整和准确。
¶ 连通域提取
OpenCV提取连通域的算法通常是通过遍历图像像素，并标记连通区域的方式实现的。其基本步骤如下：
- 初始化阶段：遍历图像中的每个像素点，如果该像素点是前景像素点（例如，特定的颜色或亮度值），则为其标记一个新的连通区域编号，并将该像素点插入一个待处理队列中。
- 扩展阶段：从待处理队列中取出一个像素点，然后遍历其相邻像素点。如果相邻像素点是前景像素点且未被标记过，则将其标记为当前连通区域编号，并将其插入待处理队列中。重复此步骤，直到待处理队列为空。
通过这种方式，OpenCV能够提取出图像中的所有连通区域。连通区域是指在图像中具有相同或相似属性的像素点的连续集合。这种算法在图像处理、计算机视觉和模式识别等领域中广泛应用，如目标跟踪、边缘检测、图像分割等。
import cv2
import numpy as np
# 读取图片
image = cv2.imread('color_shape.jpeg')
# 将图片从BGR颜色空间转换为HSV颜色空间
hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 定义红色在HSV中的范围
lower_red_1 = np.array([0, 50, 50]) # HSV中的红色下限 (0, 50, 50)
upper_red_1 = np.array([10, 255, 255]) # HSV中的红色上限 (10, 255, 255)
lower_red_2 = np.array([170, 50, 50]) # HSV中的红色下限 (170, 50, 50)
upper_red_2 = np.array([180, 255, 255]) # HSV中的红色上限 (180, 255, 255)
# 创建红色掩膜
mask_1 = cv2.inRange(hsv_image, lower_red_1, upper_red_1)
mask_2 = cv2.inRange(hsv_image, lower_red_2, upper_red_2)
mask = mask_1 | mask_2 # 合并两个掩膜
cv2.imshow('Mask', mask)
# 寻找连通域
contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 遍历每一个连通域
for contour in contours:
# 获取连通域的边界框
x, y, w, h = cv2.boundingRect(contour)
# 在原始图像上画出连通域的边界框
cv2.rectangle(image, (x, y), (x+w, y+h), (0, 255, 0), 2)
# 计算边界框的中心点坐标
center_x = x + w // 2
center_y = y + h // 2
# 在边界框中心画十字
# 画水平线
cv2.line(image, (center_x - 5, center_y), (center_x + 5, center_y), (0, 255, 0), 2)
# 画垂直线
cv2.line(image, (center_x, center_y - 5), (center_x, center_y + 5), (0, 255, 0), 2)
# 显示标有连通域边界框的原始图像
cv2.imshow('Original Image with Bounding Boxes', image)
# 等待用户按下任意键退出
cv2.waitKey(0)
# 关闭所有窗口
cv2.destroyAllWindows()
运行结果如下所示：
这里最重要的一点是我们得到了图像的中心。
¶ 霍夫变换
有时候我们不仅依靠颜色，还依靠形状来识别图形，这里就要用到霍夫变换。
霍夫变换是一种图像处理中的特征提取技术，广泛应用于图像分析、计算机视觉以及数字图像处理等领域。
其最初被设计用来检测直线和曲线，通过计算累计结果的局部最大值得到一个符合该特定形状的集合作为霍夫变换结果。
后来霍夫变换被扩展应用到识别任意形状，例如圆和椭圆等。
先通过这个函数提取边界：
# 对Mask应用Canny边缘检测
edges = cv2.Canny(mask, 100, 200)
然后膨胀一下清晰边界：
# 定义一个结构元素，这里使用3x3的矩形作为示例
kernel = np.ones((3, 3), np.uint8)
# 对掩膜进行膨胀操作
dilation_edges = cv2.dilate(edges, kernel, iterations=1)
然后使用霍夫变换提取下面的圆形：
# 使用霍夫变换在边缘检测后的图像中检测圆形
circles = cv2.HoughCircles(edges, cv2.HOUGH_GRADIENT, 1, 20, param1=50, param2=30, minRadius=0, maxRadius=0)
# 将检测到的圆形转换为整数
if circles is not None:
circles = np.uint16(np.around(circles))
# 在原始图像上绘制检测到的圆形
for circle in circles[0, :]:
# 绘制圆形
cv2.circle(image, (circle[0], circle[1]), circle[2], (0, 255, 0), 2)
# 绘制圆心
cv2.circle(image, (circle[0], circle[1]), 2, (0, 0, 255), 3)
完整代码如下所示：
import cv2
import numpy as np
# 读取图片
image = cv2.imread('color_shape.jpeg')
# 将图片从BGR颜色空间转换为HSV颜色空间
hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
# 定义红色在HSV中的范围
lower_red_1 = np.array([0, 50, 50]) # HSV中的红色下限 (0, 50, 50)
upper_red_1 = np.array([10, 255, 255]) # HSV中的红色上限 (10, 255, 255)
lower_red_2 = np.array([170, 50, 50]) # HSV中的红色下限 (170, 50, 50)
upper_red_2 = np.array([180, 255, 255]) # HSV中的红色上限 (180, 255, 255)
# 创建红色掩膜
mask_1 = cv2.inRange(hsv_image, lower_red_1, upper_red_1)
mask_2 = cv2.inRange(hsv_image, lower_red_2, upper_red_2)
mask = mask_1 | mask_2 # 合并两个掩膜
# 对Mask应用Canny边缘检测
edges = cv2.Canny(mask, 100, 200)
# 定义一个结构元素，这里使用3x3的矩形作为示例
kernel = np.ones((3, 3), np.uint8)
# 对掩膜进行膨胀操作
dilation_edges = cv2.dilate(edges, kernel, iterations=1)
# 使用霍夫变换在边缘检测后的图像中检测圆形
circles = cv2.HoughCircles(dilation_edges, cv2.HOUGH_GRADIENT, 1, 10, param1=50, param2=40, minRadius=0, maxRadius=0)
# 将检测到的圆形转换为整数
if circles is not None:
circles = np.uint16(np.around(circles))
# 在原始图像上绘制检测到的圆形
for circle in circles[0, :]:
# 绘制圆形
cv2.circle(image, (circle[0], circle[1]), circle[2], (0, 255, 0), 2)
# 绘制圆心
cv2.circle(image, (circle[0], circle[1]), 2, (255, 0, 0), 3)
# 显示原始图片和提取的红色区域
cv2.imshow('Original Image', image)
# 等待用户按下任意键退出
cv2.waitKey(0)
# 关闭所有窗口
cv2.destroyAllWindows()
可以看到，形状识别还有些不准确的现象，还需要调整参数。
在使用OpenCV的cv2.HoughCircles函数进行圆形检测时，调参是一个关键的步骤，它直接影响到检测结果的准确性和效率。cv2.HoughCircles函数的参数较多，每个参数都有其特定的作用和调参技巧。以下是对这些参数的详细解释和调参建议：
参数解释
- image：输入图像，必须是单通道的灰度图像。如果输入的是彩色图像，需要先转换为灰度图像。
- method：检测方法，OpenCV中常用的是cv2.HOUGH_GRADIENT，它基于图像梯度的霍夫变换圆检测方法。
- dp：累加器图像的分辨率与输入图像分辨率之比的倒数。例如，dp=1时，累加器和输入图像具有相同的分辨率；dp=2时，累加器图像的宽度和高度是输入图像的一半。这个参数用于控制检测圆心的精度和计算量。
- minDist：圆心之间的最小距离。如果检测到的两个圆心之间的距离小于此值，则认为它们是同一个圆心，从而避免检测到多个相邻的圆。
- param1：Canny边缘检测的高阈值。Canny边缘检测是霍夫圆检测的前置步骤，用于提取图像中的边缘信息。param1的值越大，检测到的边缘越少，但边缘的质量可能更高。
- param2：检测阶段圆心的累加器阈值。这个阈值用于判断一个候选圆心是否足够显著。阈值越小，检测到的圆可能越多，但其中可能包含很多假圆；阈值越大，检测到的圆可能更接近完美的圆形，但可能会漏检一些圆。
- minRadius和maxRadius：检测到的圆的最小半径和最大半径。这两个参数用于限制检测到的圆的半径范围，以避免检测到过大或过小的圆。
调参建议
- dp：通常可以从1开始尝试，然后根据检测效果和计算性能进行调整。如果检测到的圆心不够精确，可以尝试减小dp的值；如果计算量过大，可以尝试增大dp的值。
- minDist：这个参数需要根据实际图像中圆的分布情况来设置。如果图像中的圆分布较密集，可以适当减小minDist的值；如果圆分布较稀疏，可以适当增大minDist的值。
- param1和param2：这两个参数通常需要结合使用，通过多次尝试找到最佳的组合。一般来说，可以先固定一个参数，调整另一个参数，观察检测结果的变化，然后再调整固定的参数，如此反复直到找到满意的结果。
- minRadius和maxRadius：这两个参数需要根据实际要检测的圆的半径范围来设置。如果图像中的圆半径变化范围较大，可以适当放宽这两个参数的限制；如果半径变化范围较小，可以设置更严格的限制。
- 灰度化和预处理：在进行霍夫圆检测之前，通常需要对图像进行灰度化和一些预处理操作（如降噪、边缘增强等），以提高检测效果。这些预处理步骤也会对最终的检测结果产生影响，因此也需要根据具体情况进行调整。
总之，cv2.HoughCircles函数的调参是一个需要不断尝试和调整的过程。通过合理设置各个参数的值，并结合适当的预处理步骤，可以获得较好的圆形检测效果。
这样我们就实现了颜色/形状识别。