1.从零开始实现卷积神经网络CNN
2.基于CBAM-CNN卷积神经网络预测研究（Python代码实现）
3.ncnn的使用2：onnx转ncnn模型跑resnet18
4.如何理解cnn中的感受野(receptive-field)?
5.自己动手写CNN Inference框架之 (二) conv2d
6.Python时序预测系列基于CNN+LSTM+Attention实现单变量时间序列预测（案例+源码）

从零开始实现卷积神经网络CNN

       卷积神经网络（CNN）自世纪七八十年代兴起，年AlexNet在ImageNet比赛中的卓越表现推动了深度学习的革新。CNN模仿人眼视觉机制，广泛应用于人脸识别、车牌识别等图像处理领域，尤其在处理大尺寸和位置变化的股票彩带指标源码通达信物体识别任务上，CNN优于全连接神经网络（DNN）。本文将从零开始，通过Python实现一个CNN实例，以深入理解其结构和工作原理。

       CNN主要由输入层、卷积层、激活函数层、池化层和全连接层组成。卷积层提取图像特征，通过滤波器操作，参数包括核大小、步长和填充；池化层则用于降采样，减少参数和计算量。全连接层将卷积层输出展平后连接到输出层，进行最终分类。在实际应用中，这些层可以灵活组合，适应不同任务需求。

       以识别手写数字的MNIST数据集为例，CNN首先通过前向传播处理输入，卷积层通过卷积核对图像进行特征提取，池化层进行尺寸减小，然后通过全连接层转化为一维输入进行分类。初始模型预测效果并不理想，但通过后向传播更新参数，网络性能逐渐提升。

       如果你对CNN感兴趣，可以从理解上述流程开始，或者参考我之前的文章，本文的完整代码链接在文末。本文代码示例仅展示了基础操作，实际应用中可通过深度学习框架Keras进行优化，以提高效率。

基于CBAM-CNN卷积神经网络预测研究（Python代码实现）

       欢迎来到本博客！

       CBAM-CNN模型是一种结合通道注意力模块（CAM）和空间注意力模块（SAM）的卷积神经网络结构，旨在提升计算机视觉任务的车检检源码性能。

       通道注意力模块通过全局平均池化学习不同通道之间的相关性，并通过全连接层生成注意力权重，调整每个通道的特征图。

       空间注意力模块通过对特征图进行最大池化和平均池化，使用卷积层生成注意力权重，应用于原始特征图，增强重要空间信息区域。

       CBAM模型通过通道注意力和空间注意力的结合，动态选择和调整特征图，提取更准确的特征表示，提高图像分类、目标检测和图像分割等任务的性能。

       在预测任务中，CBAM-CNN模型可通过自适应关注关键通道和空间区域，提取图像特征并分类，或辅助检测网络定位和分类目标。

       CBAM-CNN仅是网络结构，具体研究需针对特定任务和数据集进行调整优化。

       部分代码如下：

       参考文献提供CBAM-CNN在不同领域的应用研究，包括滚动轴承故障诊断和模拟电路故障诊断。

ncnn的使用2：onnx转ncnn模型跑resnet

       NCNN的使用教程：将ONNX模型转换为运行ResNet

       NCNN提供了强大的模型转换工具，便于将Caffe、ONNX等模型转换为ncnn格式。在编译后的ncnn build/tools目录下，我们找到了onnx2ncnn工具。本文将展示如何使用它将PyTorch导出的ResNet的ONNX模型转换为ncnn适用的模型。

       项目的结构如下：src存放源代码，python包含脚本，model_param存放模型文件，image存放推理，bin存放可执行文件。在bin目录下，我们拷贝了来自ncnn/build/tools/onnx的onnx2ncnn工具。

       在python脚本export_res.py中，通过给定示例输入，我们导出resnet的ONNX模型至model_param目录。然后，我们使用ncnn官方提供的工具onnx2ncnn进行转换，生成resnet.param和resnet.bin文件，分别存储模型结构和参数。

       resnet.param文件包含（magic number）和层与blob的HDR源码输出数量，其中blob用于存储中间数据。Blob的数量通常比层多，因为每个层可能有多个输入和输出。例如，Convolution层有输入和输出blob，而Split算子则有多个输入和输出。

       在推理代码中，我们参考ncnn/examples/squeezenet.cpp编写，首先创建Net实例，加载模型参数（resnet.param和resnet.bin），并确保输入转换为RGB格式，因为OpenCV默认为BGR。此外，还需对进行归一化处理，以适应模型的输入要求。

       CMakeLists.txt文件中，我们设置了ncnn库的搜索路径，并将可执行文件输出到bin目录下，同时链接ncnn和OpenCV库。

       通过以上步骤，你已经学会了如何使用ncnn将ONNX格式的ResNet模型转换并进行推理。

如何理解cnn中的感受野(receptive-field)?

       在深度学习领域，尤其是卷积神经网络（CNN）中，感受野（Receptive field）是一个关键概念。它描述了网络内部不同位置的神经元在原始输入图像上所能感知的区域大小。简单来说，感受野就是每个神经元能够从原始图像中获取信息的范围。这个范围对于理解CNN的内部工作原理和设计高效的网络架构至关重要。

       感受野的大小对于网络的全局性有重要影响。为了实现压缩计算量，深度学习模型在向后推进时，特征图（feature map）的尺寸往往会减小。然而，这并不意味着参与“决策”的神经元只能关注局部细节，而是通过感受野的概念，我们能够理解它们如何获取整个输入图像的信息。

       让我们以一个常见的CNN为例，假设它有三层。第一层的特征图尺寸为5x5，第二层为3x3，第三层为2x2。录入搜索源码尽管特征图尺寸在减少，但每个神经元的感受野并未相应减小，反而可能大于原始图像的尺寸。这表明计算出的感受野是理论值，实际感受野可能小于这个数值。

       感受野的计算公式不仅提供了大小信息，还包含了神经元中心坐标的详细信息。这些公式以输入特征图作为基准，用于计算感受野的具体范围。

       为了帮助理解和计算感受野的大小，可以利用现有的工具或库。TensorFlow提供了自带的函数来计算感受野，FOMORO AI则提供了不仅有程序还有用户界面的工具，非常实用。此外，还有一些作者自制的工具，提供了Python源代码，可以根据输入的特征图名字和索引返回对应的感受野大小和位置。

       理解感受野对于设计和优化深度学习模型至关重要。通过合理的设置感受野，可以确保模型在压缩计算量的同时，仍然能够处理全局信息，从而提高其在各种任务中的性能。

自己动手写CNN Inference框架之 (二) conv2d

       卷积是CNN网络中至关重要的操作，其原理可在维基百科上找到。然而，本文专注于描述不同于传统数学卷积的二维卷积，更像相关性运算，无需旋转核。本文指导从TensorFlow的图中提取conv2d的参数，并使用简单C语言进行模型加载与推理，与TensorFlow的Python调用结果进行对比验证准确性。后续文章将探讨如何针对嵌入式设备使用Halide、Arm Compute Library（ACL）或低级SIMD API进行加速。

       数据格式约定采用NCHW，仅处理float数据。Tensor定义简单，参考提供的结构体。接下来，我们介绍卷积操作，采用sliding-windows嵌套多层实现。pink老师源码输出高度的计算公式涉及输入张量高度、滤波器高度、垂直贴边长度与滑动步长。

       在完成卷积操作后，我们将探讨如何从TensorFlow图中获取卷积参数。使用Python脚本简化处理，保存至自定义格式文件中。生成包含conv2d的图，只需两行代码。从图中提取卷积核参数，首先获取图的所有可训练参数，然后按照'conv2d/kernel:0'关键字提取参数。在图定义中，通过'conv2d/Conv2D'关键字提取操作参数，包括填充、步长、核形状等。结果保存为两个文件，分别存放数值参数和操作参数。注意TensorFlow数据布局为NHWC，输出时需调整为NCHW，采用`a = np.transpose(a,(0,2,3,1))`操作。

       参数保存后，values文件包含所有值，config文件包含操作参数。我们约定第一个参数为输入Op类型，当识别为conv2d时，依据以下规则解析模型：读取第二至第五行的五个参数，表示NCHW，即卷积核形状；读取卷积类型（有效或相同）；读取数据布局（NHWC）；基于初始张量形状，读取values文件中的参数，注意布局为NCHW。

       接着，编写业务代码进行模型测试，逻辑涉及解析模型配置文件、初始化values、执行conv2d操作，并与Python输出结果进行精确性对比。

       本文实现了简单的TensorFlow二维卷积，通过Python脚本解析图中的conv2d参数，保存为自定义格式文件。在自定义格式下读取和解析Op及其参数，实现数值计算，并与TensorFlow的计算结果一致。后续文章将采用类似方式开发Dense、Pooling等Op，并使用本教程代码的GitHub链接。欢迎讨论和关注专栏。

Python时序预测系列基于CNN+LSTM+Attention实现单变量时间序列预测（案例+源码）

       本文将介绍如何结合CNN、LSTM和Attention机制实现单变量时间序列预测。这种方法能够有效处理序列数据中的时空特征，结合了CNN在局部特征捕捉方面的优势和LSTM在时间依赖性处理上的能力。此外，引入注意力机制能够选择性关注序列中的关键信息，增强模型对细微和语境相关细节的捕捉能力。

       具体实现步骤如下：

       首先，读取数据集。数据集包含条记录，按照8:2的比例划分为训练集和测试集。训练集包含条数据，用于模型训练；测试集包含条数据，用于评估模型预测效果。

       接着，对数据进行归一化处理，确保输入模型的数据在一定范围内，有利于模型训练和预测。

       构造数据集时，构建输入序列（时间窗口）和输出标签。这些序列将被输入到模型中，以预测未来的时间点。

       构建模拟合模型进行预测，通过训练得到的模型参数，将输入序列作为输入，预测下一个时间点的值。

       展示预测效果，包括测试集的真实值与预测值的对比，以及原始数据、训练集预测结果和测试集预测结果的可视化。

       总结，本文基于CNN、LSTM和Attention机制实现的单变量时间序列预测方法，能够有效处理序列数据中的复杂特征。实践过程中，通过合理的数据划分、归一化处理和模型结构设计，实现了对时间序列数据的准确预测。希望本文的分享能为读者提供宝贵的参考，促进在时间序列预测领域的深入研究和应用。

ncnn和pnnx和onnx

       Pnnx作为ncnn的中间件，允许ncnn支持torchscript，简化了转换过程。它不直接是一个推理库，而是提供了一种将计算图导出为其他推理库所需文件格式的方法。

       NCNN提供多种功能，包括手动修改参数、动态操作和加速技巧。这些修改通常针对与ONNX和ATEN的兼容性。通过理解和运用这些技巧，可以更好地利用NCNN的性能。

       在转换过程中，涉及到一个概念叫“lower”，即使用支持的算子来模拟模型中不支持的算子。例如，如果模型包含一个带有padding的卷积，而推理库不支持padding，那么lower过程会将该卷积分解为垫阵和无padding的卷积。同样，sigmoid操作可能会被分解为多个基本操作以模拟其功能。

       在将模型转换为ONNX时，lower操作会重复进行两次。从python代码到torchscript再到ONNX，这会导致计算图变得庞大且细碎，不利于推理优化和模型理解。此外，这种转换可能会引入额外的算子，如Gather、Unsqueeze，这些在NCNN中可能不被支持。

       Pnnx位于torchscript之下，提供了一种从torchscript导出ncnn模型的新途径，从而实现模型部署。Pnnx的算子定义与python代码的接口保持一致，支持类似于python的API。通过保留原始模型的算子定义和参数，Pnnx模型可以被轻松转换回原始python代码或导出为Pnnx。

       在NCNN源码中，magic值记录了推理框架的版本号，表示模型文件的特定信息。Pnnx参考了NCNN的模型写法，支持更灵活的参数键，如字符串，以与python API保持一致。此外，Pnnx支持保留算术表达式的整体性，优化GPU和可编程硬件的性能，并提供自定义算子的导出和优化功能。

       在将模型转换为Pnnx时，可以指定模块操作，如Focus，以合并多个小操作为一个大操作，提高效率。Pnnx还支持量化感知训练的算子导出，并在转换过程中记录量化参数，解决了量化模型导出的问题。此外，Pnnx允许在模型中指定输入形状，有助于优化表达式和常量折叠过程，同时支持静态和动态形状。

       在Pnnx的内部图优化过程中，使用模板匹配技术从torchscript ir中找到对应的封闭子图，并将其替换为目标操作，从而优化模型结构。Pnnx提供了一个完整的框架，包括加载torchscript、转换为Pnnx ir、进行图优化和转换为python代码的过程。

       当前Pnnx项目兼容PyTorch 1.8、1.9和1.版本，支持种PyTorch上层操作中种转换为NCNN对应的操作。Pnnx已经实现了自动单元测试和代码覆盖率，对于常用CNN模型如ResNet和ShuffleNet，转换和推理结果与原始python版本一致。未来计划增加更多PyTorch算子支持、增强单元测试、测试端到端RNN和Transformer模型，并编写使用教程和开发文档。

CNN内容讲解以及代码展示

       什么是CNN？

       CNN，全称为卷积神经网络，是一种多层的人工神经网络，其设计灵感来源于生物大脑的结构和功能。CNN由不同的层组成，每个层都有其特定的用途。让我们深入了解CNN的三个关键层及其功能。

       卷积层（Convolutional Layer）

       卷积层的主要功能是提取特征。它使用卷积核进行操作，卷积核是一个权重矩阵，大小通常是3x3或5x5。这些权重用于识别图像中的特定特征，例如边缘、纹理或形状。卷积过程包括将卷积核与输入图像的每个部分相乘，然后求和，从而生成新的特征图。

       池化层（Pooling Layer）

       池化层的主要作用是下采样和减少图像尺寸。它通过取最大值、最小值或平均值等方式，降低特征图的维度，同时保留图像中最重要的特征。这种操作有助于减少计算量，提高模型的训练速度和效率。池化层通常与卷积层一起使用，通过滑动窗口的方式进行操作。

       全连接层（Fully-connected Layer）

       全连接层是神经网络中的一种基本层结构，它将网络中前一层的所有神经元与后一层的所有神经元相连接，因此被称为“全连接”。全连接层的主要作用是特征融合，将之前各层提取的特征综合起来，形成更高级别的表示。在分类任务中，全连接层通常位于卷积层和池化层之后，为最终的输出结果或预测做准备。

       CNN的基本实现

       为了构建和训练一个简单的CNN模型，可以使用Keras库。以下是一个基本的代码示例：

       python

       import keras

       from keras.preprocessing.image import ImageDataGenerator

       # 读取训练数据

       train_dir = ImageDataGenerator().flow_from_directory(train_dir, (,), batch_size=5, shuffle=False)

       # 构建神经网络层

       # 假设模型结构包括卷积层、池化层和全连接层

       # 编译模型

       # 训练模型

       # 评估模型

       # 预测结果

       # 计算混淆矩阵

       使用混淆矩阵（Confusion Matrix）来评估模型性能。

       混淆矩阵是一种用于比较模型预测结果与真实标签的表格形式。它有助于计算准确率、召回率、精确率和F1分数等指标，从而全面了解模型的性能。通过将真实标签与模型预测结果输入到混淆矩阵函数中，可以计算出各个指标，以便深入分析模型在分类任务中的表现。

       执行代码后，可以得到混淆矩阵，并进一步计算模型的准确率、召回率、精确率和F1分数等指标，从而评估模型性能。

[推理部署]🔥🔥🔥 全网最详细 ONNXRuntime C++/Java/Python 资料！

       全网最详尽ONNXRuntime C++/Java/Python资料概览

       近期，我计划整理一系列关于TNN、MNN、NCNN和ONNXRuntime的笔记，用以记录实践中的经验和学习成果，方便日后快速解决问题（目前已有超过个C++推理示例，形成了可复用的库）。本文档详尽收录了ONNXRuntime的相关资源，包括官方文档、C++、Java和Python接口，以及我在使用中的实用技巧。

       1. 官方文档和API参考

       2. C++ API深度解析与案例

       3. Java接口使用指南

       4. Docker镜像安装与配置

       5. 源代码编译与理解

       6. 与ONNX Opset兼容性探讨

       7. 与其他转换工具兼容性

       8. Ort::Value获取值方法：At()、裸指针与引用

       9. 源码实战案例：目标检测、人脸识别等

       . 动态维度推理与高级应用

       . 学习ONNXRuntime源码

       . 推荐阅读与持续更新

       这份内容将持续更新，欢迎关注并收藏，以便获取最新的模型案例和功能介绍。Markdown版本可在我的仓库获取：[仓库链接]