1.OpenCV像处理入门 - 像的卷积卷积腐蚀与膨胀
2.OpenCV中几种卷积的实现方式
3.OpenCV 学习：4 Sobel算子
4.OpenCV/dnn库的各层实现架构
5.OpenCV图像处理入门 - 开运算与闭运算
6.OPENCV中的Sobel函数

OpenCV像处理入门 - 像的腐蚀与膨胀

       OpenCV图像处理入门 - 图像的腐蚀与膨胀操作详解

       在OpenCV中，图像的源码腐蚀与膨胀操作主要通过cv2.erode和cv2.dilate函数实现。这些函数适用于二值图像，函数以黑白模式操作，卷积卷积但也可用于其他图像类型。源码它们分别对应于图像边缘的函数dnfapc模型源码缩小和扩大。

       腐蚀操作

       erode函数的卷积卷积核心是卷积操作，它使用一个二维矩阵kernel在源(src)上进行滑动。源码非零元素所覆盖区域内的函数最小值会被用于填充新生成的像素。例如，卷积卷积下面的源码代码演示了通过3次迭代，kernel为3x3的函数腐蚀操作效果逐渐增强：

       cv2.erode(src, kernel, iterations=1, ...)

       结果显示，随着迭代次数增加，卷积卷积边缘逐渐变模糊，源码图像变简洁。函数

       膨胀操作

       与腐蚀相反，dilate函数选择kernel覆盖区域内的最大值。代码示例中，不同的kernel形状如(,3), (3,), (,)分别导致图像在不同方向上膨胀，如Y方向变粗、X方向变粗以及双向膨胀。

       cv2.dilate(src, kernel, iterations=1, ...)

       通过调整kernel的大小和形状，膨胀操作可以增强图像的边缘或填充细节。

OpenCV中几种卷积的实现方式

       自从opencv引入dnn模块后，卷积实现方式不断扩展，以适应PC、手机、边缘计算设备的web video源码部署需求。目前，可调用CUDA、OpenCL、Tengine、Vulkan实现卷积。Tengine、Vulkan特别适用于移动设备和边缘计算，它们内部是如何实现的？

       Vulkan是一个渲染库，与OpenGL、DirectX等GPU渲染库相比，移动设备上使用较多，而深度学习模型又需要在移动设备上部署。因此，探索是否可以使用Vulkan实现卷积等深度学习操作。

       接下来，让我们看看OpenCV是如何使用Vulkan实现深度神经网络中的卷积。

       打开OpenCV源码库的modules/dnn/src目录，可以看到最后一个文件夹是vkcom。"vkcom"这个名字由"Vulkan"库本身与"comp"（glsl语言的源代码后缀）组成。glsl语言可以通过以下命令编译：“vkcom”。GLSL是OpenGL着色语言，用于编写OpenGL着色器的编程语言，通常与并行处理功能强大的GPU结合使用。深度学习操作如卷积、池化都是对图像颜色的处理，因此可以将这些操作实现为着色器，用GLSL编写，ash源码解读然后使用Vulkan调用GPU。

       Vulkan实现的卷积代码示例如下：

       代码中指定了输入输出变量（第3、6、9、行）。在第行计算了输出变量convolved_image_data的值。第行开始的for循环遍历卷积核的c、w、h，计算单个像素位置的卷积结果。显然，这个卷积仅计算一个像素位置的卷积结果，卷积核的滑动过程由Vulkan管理GPU，多个GPU计算单元并行完成。

       在OpenCV中，文件conv.comp首先被编译为二进制，然后将此二进制作为字符串放入conv_spv.cpp中。cpp文件定义了conv_spv数组，其中包含编译后的卷积着色器执行代码。由OpBase::createShaderModule函数将此二进制送入vkCreateShaderModule，从而调度GPU。

       通过分析代码，可以看到Vulkan实现的算子被调用的方式，这同样适用于CUDA、OpenCL、Ngraph、Inference Engine等实现的kodbox源码分析算子。

       Vulkan渲染库在OpenCV中的调用逻辑已经阐述完毕。Tengine是如何使用的？在convolution_layer.cpp的forward函数的行，调用了tengine_forward(tengine_graph)。

       Tengine_forward来自teng_run_graph函数，我们只需调用库即可得到结果。传入的graph是卷积图，由create_conv_graph在第行创建。create_conv_graph使用create_conv_node、create_input_node生成卷积算子所需的图。

       使用Tengine相对使用Vulkan、CUDA等库完成算子，要简单许多。调用库内的函数生成节点，使用节点构建图即可，无需自己实现算子内的计算。

       本文概述了OpenCV中卷积实现方式的多样性，以下为总结：

       本文详细分析了使用Vulkan用着色器实现卷积计算的方法及其调用路径，这个路径在分析其他类型实现时也很有用。本文还探讨了不同库算子的兼容性。当然，不同算子兼容还涉及更多细节，本文仅关注卷积forward函数的传递。

       本文后半部分简要介绍了Tengine在OpenCV中的集成。发现集成过程相对简单，在convolution_layer.cpp中直接运行Tengine库构建的卷积计算图。这也表明，如果存在更好的bios源码大小边缘计算库，很容易集成到OpenCV中。

       通过几天的分析，我们已经了解了OpenCL、Vulkan、Tengine的实现方式。可以预计，CUDA、Halide、Inference Engine nn、Inference Engine NGraph等实现也会类似。

OpenCV 学习：4 Sobel算子

       在图像处理领域，OpenCV 提供了丰富的工具和算法来处理和分析图像。本节我们将探讨一种名为 Sobel 算子的边缘检测方法。通过它，我们能更有效地提取图像中的边缘信息，这是图像处理任务中的关键步骤之一。

       边缘检测的数学基础在于一阶离散差分原理。这意味着，我们关注的焦点在于图像像素灰度值的变化。在边缘位置，这种变化尤为显著，反映出灰度矢量的变化。将图像转换为灰度图像，实质上就是对图像中每个像素的灰度变化进行处理。

       Sobel 算子通过卷积公式实现，其形式相对复杂。但其核心思想是通过一阶差分方程检测图像边缘。方程中，数字2的出现与权重分配有关，它模拟了高斯函数的权重，使得左右方向的权重较大，上下方向的权重较小。

       具体而言，对于原始图像，Sobel 算子在水平方向的卷积可以通过下式计算：

       [公式]

       同样的，垂直方向的卷积通过：

       [公式]

       这里的计算结果代表了图像中每个点的灰度梯度。梯度值大于预设阈值的点被识别为边缘点。

       Sobel 算子以其平滑处理噪声的能力，以及提供精确边缘方向信息的优点，被广泛应用于边缘检测领域。尽管在边缘定位精度方面略显不足，但在对精确度要求不高的场景下，Sobel 算子是一种非常实用的工具。

       在实际应用中，OpenCV 提供了相应的API函数来实现Sobel算子的计算，简化了边缘检测的编程过程。运行结果通常表现为清晰、精确的边缘定位，有助于后续的图像分析和处理任务。

OpenCV/dnn库的各层实现架构

       OpenCV/dnn库的深度网络架构解析

       OpenCV/dnn的核心数据结构，即LayerData，是构建深度网络的关键。通过Net类的map结构，这个数据结构构建了一个有向图，代表了网络的层级结构。一旦初始化完毕，map中的所有信息配置完毕，就可以启动深度网络的前向传播过程。

       LayerData内部结构详述：

       它包含了层的编号、名称、类型，以及与计算相关的对象，如计算实例layerInstance和数据转换器。

       layerInstance存储了当前层的计算对象，OpenCV/dnn通过工厂模式动态获取，例如，输入层类型为卷积时，会返回一个Convolution_Layer对象。

       工厂模式在这里扮演了核心角色，LayerFactory类就是这个“工厂”，通过createLayerInstance函数，根据输入的层类型和参数，生成并返回对应的具体层对象，如Convolution_Layer。

       为了统一接口，抽象出了Layer类，而Convolution_Layer等具体层类型成为其子类。这样，无论传入哪种类型的层，LayerFactory都能根据预注册的信息生成相应的对象。

       LayerFactory的实现涉及一个表，存储着层类型与其构造函数的对应关系。当需要创建新的层时，工厂会从表中找到对应构造函数并执行，从而得到所需层的实例，如Convolution_Layer。

       为了简化注册过程，引入了宏，允许将模版函数直接注册，这样在需要创建层时，只需调用预定义的注册函数，即可得到完整的层对象。一旦所有层都完成注册，LayerData的getLayerInstance()函数就能在运行时获取并执行其计算功能。

       综上，OpenCV/dnn库通过这种设计，实现了深度网络中层的动态创建和计算过程的高效管理。

OpenCV图像处理入门 - 开运算与闭运算

       本文主要介绍了OpenCV图像处理中的开运算与闭运算。开运算与闭运算通过调用cv2.morphologyEx函数实现，它包括源、卷积核与迭代次数等参数。

       开运算旨在去除孤立点、毛刺和小桥等，其作用类似于将连在一起的物体分开。实现开运算的方式包括先腐蚀后膨胀，或直接调用morphologyEx函数。此操作如图所示，通过两次开运算，两个小球之间的连接被消除，将它们分开。

       闭运算则用于填充小孔、弥合缝隙，类似于将断裂的物体重新连接。闭运算可以通过先膨胀后腐蚀实现，或直接通过morphologyEx函数完成。如图所示，通过两次闭运算，内部的小孔被填平，两个大圆连接在一起。

       通过开运算与闭运算，可以有效处理图像中的各种细节，提高图像质量与后续处理的准确性。掌握这些基本操作对于图像处理领域的学习者而言至关重要。

OPENCV中的Sobel函数

       在OpenCV中，Sobel函数扮演着边缘检测的重要角色，它基于一阶梯度算法，能有效平滑图像并提供精确的边缘方向信息。然而，对于边缘定位的精度，它并非最佳选择。当对边缘的精度要求不高时，Sobel是一个实用的工具。其工作原理是使用3x3的模板对图像进行卷积，计算出X和Y方向的梯度（GX和GY），然后取绝对值并加和，大于某个阈值的点即被视为边缘。Sobel函数在C++中可以通过以下函数实现：

       在OpenCV 3.1.0及以上版本中，Sobel函数的C++调用形式是：

       void Sobel(InputArray src, OutputArray dst, int ddepth, int dx, int dy, int ksize = 3, double scale = 1, double delta = 0, int borderType = BORDER_DEFAULT)

       关键参数包括：

       src: 输入图像（Mat类型）

       dst: 输出边缘检测结果（同样Mat类型）

       ddepth: 输出图像深度，根据输入确定，如CV_8U到CV_F

       dx, dy: 分别表示X和Y方向的差分阶数，1或0

       ksize: 滤波器大小，常用3、5或7，1表示特殊处理

       其他参数如scale、delta和borderType也有其特定含义

       例如，若要检测X方向垂直边缘，dx设为1, dy设为0。对于精度更高的边缘检测，可以考虑使用Scharr函数，它基于大小为3的内核提供更精确的结果。

       在实际应用中，Sobel算法的代码可能如下所示：

       Sobel(src_gray, grad_x, ddepth, 1, 0, 3, scale, delta, BORDER_DEFAULT);

       Sobel(src_gray, grad_y, ddepth, 0, 1, 3, scale, delta, BORDER_DEFAULT);

       最后，通过一些转换操作（如convertScaleAbs和addWeighted）来合并X和Y方向的梯度信息，得到最终的边缘检测结果。

       请注意，以上内容遵循CC 4.0 BY-SA版权协议，如需引用，请确保附上原文链接：[原文链接]