1.3d稀疏卷积——spconv源码剖析（一）
2.C语言实现CNN
3.im2col方法实现卷积算法
4.（论文加源码）基于连续卷积神经网络（CNN）（SVM）（MLP）提取脑电微分熵特征的卷积卷积DEAP脑电情绪识别
5.必知必会的VGG网络(含代码)
6.OpenCV中几种卷积的实现方式

3d稀疏卷积——spconv源码剖析（一）

       本文主要阐述卷积的基本理论，并以spconv源码为例进行解析。神经神经首先，网络网络介绍2D与3D卷积的源码源码基础知识及其分类。随后，卷积卷积深入探讨3D稀疏卷积的神经神经头羊选股公式源码工作原理。

       2D卷积涉及卷积核在二维图像空间上的网络网络滑动操作。它分为单通道卷积与多通道卷积。源码源码单通道卷积在输入图像的卷积卷积单一通道上进行，得到特征图。神经神经多通道卷积在同一图像中不同通道上进行，网络网络每个通道得到一个对应的源码源码新通道，最终通过相加生成特征图。卷积卷积

       3D卷积在此基础上扩展到三维空间，神经神经涉及单通道与多通道情况。网络网络三维单通道卷积在立方体上进行，而三维多通道卷积则处理拥有多个通道的三维图像。

       2D与3D卷积计算涉及输入层、输出层与参数关系的数学公式。考虑偏置参数与计算量，FLOPS（浮点运算量）也在此阶段被计算。

       稀疏卷积分为SC（Sparse Convolution）与VSC（Valid Sparse Convolution）两种类型。SC卷积计算激活站点并丢弃非激活站点，而VSC卷积在SC的基础上进行了简化。

       卷积神经网络对三维点云数据处理时，面临计算量增加的问题，而SC与VSC卷积利用稀疏性实现高效处理。构建输入与输出哈希表，对点云数据进行快速访问。GetOffset()函数用于定位卷积操作的位置，Rulebook用于存储原子操作规则，指导稀疏卷积过程。

       稀疏卷积的关键在于构建输入、输出哈希表以及建立两者之间的rcnn caffe源码联系，实现对稀疏数据的有效处理。spconv库中的get_indice_pairs函数通过调用getIndicePairs实现这一过程。

C语言实现CNN

       文章标题：C语言实现CNN

       本篇内容主要解释CNN算法和实现细节，并指导读者利用C语言构建基本的卷积神经网络(CNN)。全连接深度神经网络在实现过程中对输入图像进行线性操作，而CNN则通过引入局部感受野、权值共享和池化操作，对图像进行更有效特征提取。

       局部感受野是CNN中一个核心概念，它将输入层图像分成多个局部区域。每一个隐藏层的神经元仅与其所在区域的输入神经元连接，这样在不增加过多参数的同时，能够学习到局部特征。

       权值共享在卷积层中实现，通过使用共享权重矩阵处理每一个局部感受野，减小参数量和计算复杂度，使模型能够学习具有平移不变性或旋转不变性的特征。

       池化层用于简化卷积层输出，通常使用最大值、平均值或局部和等操作，保留相对位置信息同时减少特征值数量，降低网络参数和计算开销。

       最后，构建CNN结构时，输入层和卷积层负责特征提取，池化层用于特征简化，输出层进行分类决策。代码实现通常基于已有的数据集，如MNIST手写字体识别集，并使用相关函数与类进行初始化、激活函数设置、网络构建和训练。

       在训练部分，jieba 源码导读采用正向传播计算预测结果，而后向传播更新网络参数以最小化损失。测试模型则用于评估训练结果的准确性和性能。

       代码实现包含对图像数据的读取、网络结构建立、参数初始化、激活函数应用、卷积、池化操作以及最终分类功能的实现。在C语言中实现CNN，需要深入理解数据结构和算法过程，以正确处理和操作各种变量和数组。

       尽管文中提到使用不同IDE时可能出现变量传参问题，但关键在于正确理解代码逻辑并确保数据类型和操作兼容性。通过实践与调试，可以解决在特定IDE中遇到的代码编译或运行问题。

im2col方法实现卷积算法

       直观理解卷积算法的im2col方法

       在深度神经网络中，卷积层的核心计算过程可以通过im2col函数高效实现。它将二维的输入矩阵和卷积核转化为四维张量，以便于矩阵乘法操作。以下是关键步骤的简化概括：

       1. 卷积开始时，输入从二维升级到四通道（如的RGB值），卷积核同样升级到匹配的通道数。对于单通道，公式表示为：

       [公式] （c为通道数，kh, kw为卷积核尺寸，步长默认为1）

       2. 当多卷积核存在时，每个卷积核独立作用于输入，最终输出通道数等于卷积核数量。计算过程如下：

       [公式] （d为卷积核序号，n为输入序号）

       3. 扩展到批量处理时，每批输入独立与所有卷积核进行卷积，最终输出大小与输入批量相同。自动排版 源码例如：

       [公式] （批量为2的输入）

       4. 步长的选择影响卷积结果的采样方式，步长越大，采样间隔越大。如果步长导致输入不规则，可能需要特殊处理，如填充或忽略。

       在Python实现中，im2col函数的核心在于将输入数据转换为列向量，并根据批量和通道顺序正确插入。这一过程优化了内存访问，提高计算效率。

       总结来说，im2col方法是将卷积计算复杂性转化为矩阵乘法，通过巧妙的矩阵操作简化了神经网络中的卷积运算，是深度学习框架设计中的重要步骤。

（论文加源码）基于连续卷积神经网络（CNN）（SVM）（MLP）提取脑电微分熵特征的DEAP脑电情绪识别

       在本文中，我们采用连续卷积神经网络（CNN）对DEAP数据集进行脑电情绪识别。主要内容是将脑电信号在频域分段后提取其微分熵特征，构建三维脑电特征输入到CNN中。实验结果表明，该方法在情感识别任务上取得了.%的准确率。

       首先，我们采用5种频率带对脑电信号进行特化处理，然后将其转换为**的格式。接着，我们提取了每个脑电分段的微分熵特征，并对其进行了归一化处理，将数据转换为*N*4*的格式。在这一过程中，我们利用了国际-系统，将一维的DE特征变换为二维平面，再将其堆叠成三维特征输入。

       在构建连续卷积神经网络（CNN）模型时，熊市专用 源码我们使用了一个包含四个卷积层的网络，每个卷积层后面都添加了一个具有退出操作的全连接层用于特征融合，并在最后使用了softmax层进行分类预测。模型设计时考虑了零填充以防止立方体边缘信息丢失。实验结果表明，这种方法在情感识别任务上表现良好，准确率为.%。

       为了对比，我们还编写了支持向量机（SVM）和多层感知器（MLP）的代码，结果分别为.%和.%的准确率。实验结果表明，连续卷积神经网络模型在DEAP数据集上表现最好。

       总的来说，通过结合不同频率带的信号特征，同时保持通道间的空间信息，我们的三维脑电特征提取方法在连续卷积神经网络模型上的实验结果显示出高效性。与其他相关方法相比，该方法在唤醒和价分类任务上的平均准确率分别达到了.%和.%，取得了最佳效果。

       完整代码和论文资源可以在此获取。

必知必会的VGG网络(含代码)

       牛津大学的视觉几何组设计的VGGNet，一种经典卷积神经网络架构，曾在年ILSVRC分类任务中获得第二名。现今，VGG依然广泛应用于图像识别、语音识别、机器翻译、机器人等领域。VGG包含层（VGG-）和层（VGG-），结构相似，由个卷积层和3个全连接层组成。与之前网络相比，VGG采用3*3卷积核替代7x7卷积核，2*3卷积核替代5*5卷积核，以减少参数，提升深度。

       VGG-的结构图显示，包含conv（卷积层）、pool（池化层）和最后三个fc（全连接层）。VGG通过减少参数量，使得网络结构更加紧凑，从而提升模型的性能。

       VGG-采用五组卷积与三个全连接层，最后使用Softmax进行分类。每个卷积层的参数量通过公式计算得出。特征图计算公式为输出图像大小（O）等于（输入图像大小（I）+2*填充（P）-卷积核大小（K））/步长（S）+1。

       VGG-的代码实现可以通过构建一个Layer类，通过循环添加每个层的顺序执行来实现。具体代码可在关注公众号CV算法恩仇录后，回复VGG源码获取。

       了解更多关于VGG的细节，请参阅相关链接：《VGG网络细节》 shimo.im/docs/dPkpKKErv...、《VGG网络》 blog.csdn.net/weixin_...

       深入理解VGG，可参考《一文读懂VGG》/s/vWuGW4iMD1MjVDZVCqH_FA。

OpenCV中几种卷积的实现方式

       自从opencv引入dnn模块后，卷积实现方式不断扩展，以适应PC、手机、边缘计算设备的部署需求。目前，可调用CUDA、OpenCL、Tengine、Vulkan实现卷积。Tengine、Vulkan特别适用于移动设备和边缘计算，它们内部是如何实现的？

       Vulkan是一个渲染库，与OpenGL、DirectX等GPU渲染库相比，移动设备上使用较多，而深度学习模型又需要在移动设备上部署。因此，探索是否可以使用Vulkan实现卷积等深度学习操作。

       接下来，让我们看看OpenCV是如何使用Vulkan实现深度神经网络中的卷积。

       打开OpenCV源码库的modules/dnn/src目录，可以看到最后一个文件夹是vkcom。"vkcom"这个名字由"Vulkan"库本身与"comp"（glsl语言的源代码后缀）组成。glsl语言可以通过以下命令编译：“vkcom”。GLSL是OpenGL着色语言，用于编写OpenGL着色器的编程语言，通常与并行处理功能强大的GPU结合使用。深度学习操作如卷积、池化都是对图像颜色的处理，因此可以将这些操作实现为着色器，用GLSL编写，然后使用Vulkan调用GPU。

       Vulkan实现的卷积代码示例如下：

       代码中指定了输入输出变量（第3、6、9、行）。在第行计算了输出变量convolved_image_data的值。第行开始的for循环遍历卷积核的c、w、h，计算单个像素位置的卷积结果。显然，这个卷积仅计算一个像素位置的卷积结果，卷积核的滑动过程由Vulkan管理GPU，多个GPU计算单元并行完成。

       在OpenCV中，文件conv.comp首先被编译为二进制，然后将此二进制作为字符串放入conv_spv.cpp中。cpp文件定义了conv_spv数组，其中包含编译后的卷积着色器执行代码。由OpBase::createShaderModule函数将此二进制送入vkCreateShaderModule，从而调度GPU。

       通过分析代码，可以看到Vulkan实现的算子被调用的方式，这同样适用于CUDA、OpenCL、Ngraph、Inference Engine等实现的算子。

       Vulkan渲染库在OpenCV中的调用逻辑已经阐述完毕。Tengine是如何使用的？在convolution_layer.cpp的forward函数的行，调用了tengine_forward(tengine_graph)。

       Tengine_forward来自teng_run_graph函数，我们只需调用库即可得到结果。传入的graph是卷积图，由create_conv_graph在第行创建。create_conv_graph使用create_conv_node、create_input_node生成卷积算子所需的图。

       使用Tengine相对使用Vulkan、CUDA等库完成算子，要简单许多。调用库内的函数生成节点，使用节点构建图即可，无需自己实现算子内的计算。

       本文概述了OpenCV中卷积实现方式的多样性，以下为总结：

       本文详细分析了使用Vulkan用着色器实现卷积计算的方法及其调用路径，这个路径在分析其他类型实现时也很有用。本文还探讨了不同库算子的兼容性。当然，不同算子兼容还涉及更多细节，本文仅关注卷积forward函数的传递。

       本文后半部分简要介绍了Tengine在OpenCV中的集成。发现集成过程相对简单，在convolution_layer.cpp中直接运行Tengine库构建的卷积计算图。这也表明，如果存在更好的边缘计算库，很容易集成到OpenCV中。

       通过几天的分析，我们已经了解了OpenCL、Vulkan、Tengine的实现方式。可以预计，CUDA、Halide、Inference Engine nn、Inference Engine NGraph等实现也会类似。

九大卷积神经网络 ( CNN ) 的 PyTorch 实现

        典型的卷积神经网络包括：AlexNet、VGG、ResNet; InceptionV1、InceptionV2、InceptionV3、InceptionV4、Inception-ResNet 。

        轻量级网络包括：GhostNet、MobileNets、MobileNetV2、MobileNetV3、ShuffleNet、ShuffleNet V2、SqueezeNet Xception MixNet GhostNet 。

        目标检测网络包括：SSD、YOLO、YOLOv2、YOLOv3、FCOS、FPN、RetinaNet Objects as Points、FSAF、CenterNet FoveaBox 。

        语义分割网络包括：FCN、Fast-SCNN、LEDNet、LRNNet、FisheyeMODNet 。

        实例分割网络包括：PolarMask。

PolarMask: Single Shot Instance Segmentation with Polar Representation ,

        人脸检测和识别网络包括：FaceBoxes、LFFD、VarGFaceNet。

        人体姿态识别网络包括：Stacked Hourglass、Networks Simple Baselines、LPN。

StackedHG:Stacked Hourglass Networks for Human Pose Estimation ,

        Simple Baselines：Simple Baselines for Human Pose Estimation and Tracking

        LPN:Simple and Lightweight Human Pose Estimation

        注意力机制网络包括：SE Net、scSE、NL Net、GCNet、CBAM。

        人像分割网络包括：SINet。

超级详细的ResNet代码解读（Pytorch）

       ResNet的最大贡献是解决卷积神经网络深度增加但模型效果变差的问题，避免过拟合。直观理解，ResNet通过残差学习，使得网络深度加深时，模型能够表征的最优解不低于浅层网络。残差网络由block构成，每个block包含前block的输入，通过残差连接保持信息流通，简化训练过程。block内部包含卷积层和激活函数，如conv1x1和conv3x3，其中conv3x3可能会改变特征图大小，而conv1x1仅改变通道数。

       在ResNet中，层以下使用BasicBlock，层以上使用BottleNeck，网络中的卷积层除了conv1之外，主要是1x1和3x3卷积。BasicBlock包含两个conv3x3层，BottleNeck包含三个卷积层。每个block在经过两个conv3x3层后，数据经过残差连接与输入相加，实现残差学习。ResNet的代码详细解读涵盖了网络的基本组件、特征图尺寸变化和通道数变化。

       ResNet由多个block组成，block内部包含卷积层、激活函数和跳接连接，不同block的配置决定了网络的深度和宽度。ResNet的代码通过foward函数实现，其中layers参数决定每一层包含的block数量。每个layer中，除了第一个block使用特定stride，其他block的stride默认为1，这样可以控制特征图的大小变化，同时改变通道数。ResNet通过这些机制，实现有效的深度学习模型，提高模型在更深网络结构上的性能。