皮皮网

1.retinanet 网络详解
2.通过Pytorch实现ResNet18
3.ResNet论文笔记及代码剖析
4.mmdetection源码阅读笔记：ResNet
5.OpenCV实现ResNet18推理---深度学习七
6.PyTorch ResNet 使用与源码解析

retinanet 网络详解

       主干网络采用ResNet作为backbone。源码

       FPN层：输入照片尺寸为x，解读经过池化层后，源码通过ResNet网络提取特征，解读得到四个不同尺度的源码特征图，分别为layer1,解读源码的近义词 layer2, layer3, layer4。源代码中的源码尺度融合从layer2层开始，经过尺度融合后得到f3,解读 f4, f5, f6, f7五个不同尺度的特征层。

       一、源码Focal Loss：Retinanet网络的解读核心是Focal Loss，它在精度上超越了two-stage网络的源码精度，在速度上超越了one-stage网络的解读速度，首次实现了对二阶段网络的源码全面超越。

       Focal Loss是解读在二分类交叉熵的基础上进行修改，首先回顾一下二分类交叉熵损失。源码在训练过程中，正样本所占的损失权重较大，负样本所占的损失权重较小。然而，由于负样本的数量较多，即使权重较小，但大量样本数量叠加后同样带来很大的损失，导致在训练迭代过程中难以优化到最优状态。因此，Focal Loss在此基础上进行了改进。

       Focal Loss损失：论文中指出gamma=2.0, alpha=0.。当预测样本为简单正样本时，假设p=0.9，(1-p)的gamma次方会变得很小，因此损失函数值会变得非常小。对于负样本而言，当预测概率为0.5时，损失只减少0.倍，因此损失函数更加关注这类难以区分的发号源码样本。

       二、源代码讲解：model.py、anchors.py、losses.py、dataloader.py、train.py以上部分均为个人理解，如有错误欢迎各位批评指正。

       目前已实现口罩数据集检测，效果如下：

通过Pytorch实现ResNet

       深入学习深度学习时，新手常常面临在掌握工具与理论应用之间的挑战。作为入门者，找到合适的项目进行实践尤为重要。ResNet作为深度学习领域的基石之一，以其独特的残差学习机制受到广泛关注。ResNet作为其中的经典模型，不仅结构简洁，而且适合初学者实践。

       开发环境设定为Python环境，需具备PyTorch库。首先，明确ResNet的网络架构是关键。对于初学者，理解ResNet中“短路连接”机制的实现至关重要，这一步骤理解到位后，后续实现过程将更为顺畅。

       ResNet的架构设计遵循了层层嵌套的残差块结构，通过添加shortcut路径，允许网络在多层间进行有效的信息传递。实际操作中，ResNet可以细分为6个关键部分进行实现。

       实现过程分为两步：一是构建残差块，这是网络的基础单元；二是构建整个ResNet模型，将多个残差块串联起来。源码哥论坛

       至此，一个完整的ResNet网络架构搭建完成。但实践才是检验真理的唯一标准，选择CIFAR数据集进行模型训练，是检验模型效果的常见方法。利用Jupyter Notebook，进行模型训练，操作流畅，结果令人满意。

       代码实现过程已在GitHub上开源，欢迎访问查看源码。如果本文对你有所启发，不妨给代码库添加star，支持作者。

ResNet论文笔记及代码剖析

       ResNet是何凯明等人在年提出的深度学习模型，荣获CVPR最佳论文奖，并在ILSVRC和COCO比赛上获得第一。该模型解决网络过深导致的梯度消失问题，并通过残差结构提升模型性能。

       ResNet基于深度学习网络深度的增加，提出通过残差结构解决网络退化问题。关键点包括：将网络分解为两分支，一为残差映射，一为恒等映射，网络仅需学习残差映射，简化计算复杂度。残差结构可以使用多层全连接层或卷积层实现，且不增加参数量。升维方式采用全补0或1 x 1卷积，后者在实验中显示更好的性能。

       ResNet网络结构由多个残差块组成，每个块包含一个或多个残差结构。VGG-网络基础上添加层形成plain-，武神坛源码其计算复杂度仅为VGG-的%。ResNet模型引入bottleneck结构，通过1 x 1卷积降维和升维实现高效计算。Res、Res、Res等模型采用bottleneck结构，第一个stage输入channel维度统一为，跨层连接后需调整维度匹配。

       实验结果表明，ResNet解决了网络退化问题，Res模型在保持良好性能的同时，收敛速度更快。ResNet的性能优于VGGNet，尤其是在更深的网络结构下。使用Faster R-CNN检测时，将VGG-替换为ResNet-，发现显著提升。

       在PyTorch官方代码实现中，ResNet模型包含五种基本形式，每种形式在不同阶段的卷积结构各有特点。以Res为例，其源码包含预训练模型和参数设置，每个stage的残差块数量根据模型不同而变化。关键点包括选择BasicBlock或Bottleneck作为网络结构基础，以及采用1 x 1卷积实现高效降维与升维。

mmdetection源码阅读笔记：ResNet

       ResNet，作为mmdetection中backbone的基石，其重要性不言而喻，它是人工智能领域引用最频繁的论文之一，微软亚洲研究院的杰作。自年提出以来，ResNet一直是目标检测领域最流行的backbone之一，其核心是网站源码加密通过残差结构实现更深的网络，解决深度网络退化的问题。

       ResNet的基本原理是利用残差结构，通过1×1、3×3和1×1的卷积单元，如BasicBlock和BottleneckBlock，来构建不同版本的网络，如resnet-到resnet-，它们在基本单元和层数上有所区别。在mmdetection的实现中，从conv2到conv5主要由res_layer构成，其中下采样策略是关键，不同版本的网络在layer1之后的下采样位置有所不同。

       ResLayer的构造函数是理解mmdetection中ResNet的关键，它涉及内存优化技术，如torch.utils.checkpoint，通过控制函数的运行方式来节省内存，但可能增加反向传播计算时间。此外，对norm层的处理也体现了与torchvision预训练模型的兼容性。

       最后，ResNet的make_stage_plugins方法允许在核心结构中插入拓展组件，这增加了模型的灵活性。总的来说，ResNet的源码阅读揭示了其设计的巧妙和灵活性，是理解深度学习模型架构的重要一步。

OpenCV实现ResNet推理---深度学习七

       借助OpenCV实现ResNet推理，本文旨在简化实际工程部署的推理流程。首先，准备好OpenCV源码编译与安装，同时确保具备其他所需环境。接下来，介绍OpenCV如何进行ResNet推理的实现过程，分为模型转换、数据预处理与模型推理三大部分。

       模型转换：借助`torch.onnx.export()`接口，将训练好的PyTorch模型转换为ONNX格式。加载训练权重，生成随机数进行转换验证。通过`ONNX Simplifier`库对模型进行优化，简化模型结构，减小模型大小。

       数据预处理：从Python测试脚本中提取数据预处理步骤，包括通道格式转换、缩放与数据格式转换。利用OpenCV库读取并实现通道格式转换，注意调整通道为RGB格式。缩放至指定大小，将转换为torch张量类型，并调整像素值范围至[0, 1]。进行数据标准化处理，最终完成预处理过程。

       模型推理：将预处理完成的数据转换为模型可接受的输入格式，通过OpenCV的DNN模块执行推理操作。使用`blobFromImage()`接口对输入数据进行进一步预处理，执行`forward()`后获得模型输出结果。找出输出结果中最大值对应的索引，以此确定推理结果的类别。

       以上步骤详细介绍了如何借助OpenCV实现ResNet推理，从模型转换、数据预处理到模型推理，简化了工程部署中的关键流程，为实际应用提供了一种有效途径。

PyTorch ResNet 使用与源码解析

       在PyTorch中，我们可以通过torchvision.model库轻松使用预训练的图像分类模型，如ResNet。本文将重点讲解ResNet的使用和源码解析。

       模型介绍与ResNet应用

       torchvision.model库提供了多种预训练模型，包括ResNet，其特点是层深度的残差网络。首先，我们需要加载预训练的模型参数:

       模型加载代码:

       python

       model = torchvision.models.resnet(pretrained=True)

       接着，将模型放置到GPU上，并设置为评估模式:

       GPU和评估模式设置:

       python

       model = model.to(device='cuda')

       model.eval()

       Inference流程

       在进行预测时，主要步骤包括数据预处理和网络前向传播:

       关键代码:

       python

       with torch.no_grad():

        output = model(input_data)

       残差连接详解

       ResNet的核心是残差块，包含两个路径：一个是拟合残差的路径（称为残差路径），另一个是恒等映射（称为shortcut）。通过element-wise addition将两者连接:

       残差块结构:

       1. 残差路径: [公式]

       2. 短路路径: [公式] (通常为identity mapping)

       网络结构与变种

       ResNet有不同深度的变种，如ResNet、ResNet、ResNet等，网络结构根据层数和块的数量有所不同:

       不同ResNet的结构图:

       ...

       源码分析

       构造函数中，例如ResNet的构造过程是通过_resnet()方法逐步构建网络，涉及BasicBlock或Bottleneck的使用:

       ResNet构造函数:

       ...

       源码的深入解析包括forward()方法的执行流程，以及_make_layer()方法定义网络层:

       forward()方法和_make_layer()方法:

       ...

       图解示例

       ResNet和ResNet的不同层结构，如layer1的升维与shortcut处理:

       ResNet和ResNet的图解:

       ...

       希望这些内容对理解ResNet在PyTorch中的应用有所帮助。如果你从中受益，别忘了分享或支持作者继续创作。

MaskFormer源码解析

       整个代码结构基于detectron2框架，代码逻辑清晰，从配置文件中读取相关变量，无需过多关注注册指令，核心在于作者如何实现网络结构图中的关键组件。MaskFormer模型由backbone、sem_seg_head和criterion构成，backbone负责特征提取，sem_seg_head整合其他部分，criterion用于计算损失。

       在backbone部分，作者使用了resnet和swin两种网络，关注输出特征的键值，如'res2'、'res3'等。在MaskFormerHead中，核心在于提供Decoder功能，这个部分直接映射到模型的解码过程，通过layers()函数实现。

       pixel_decoder部分由配置文件指定，指向mask_former/heads/pixel_decoder.py文件中的TransformerEncoderPixelDecoder类，这个类负责将backbone提取的特征与Transformer结合，实现解码过程。predictor部分则是基于TransformerPredictor类，负责最终的预测输出。

       模型细节中，TransformerEncoderPixelDecoder将backbone特征与Transformer结合，生成mask_features。TransformerEncoderPixelDecoder返回的参数是FPN结果与Transformer编码结果，后者通过TransformerEncoder实现，关注维度调整以适应Transformer计算需求。predictor提供最终输出，通过Transformer结构实现类别预测与mask生成。

       损失函数计算部分采用匈牙利算法匹配查询和目标，实现类别损失和mask损失的计算，包括dice loss、focal loss等。整个模型结构和输出逻辑清晰，前向运算输出通过特定函数实现。

       总的来说，MaskFormer模型通过backbone提取特征，通过Transformer实现解码和预测，损失函数计算统一了语义分割和实例分割任务，实现了一种有效的方法。理解代码的关键在于关注核心组件的功能实现和参数配置，以及损失函数的设计思路。强烈建议阅读原论文以获取更深入的理解。

MMDet——Deformable DETR源码解读

       Deformable DETR: 灵活与精准的检测架构

       Deformable DETR是对DETR模型的革新，通过引入Deformable结构和Multi-Scale策略，实现了性能提升与训练成本的优化。它解决了DETR中全像素参与导致的计算和收敛问题，通过智能地选取参考点，实现了对不同尺度物体的高效捕捉。这种结构弥补了Transformer在视觉任务上的局限，如今已经成为业界标准。

       核心改进在于对Attention机制的重塑，Deformable DETR基于Resnet提取的特征，融入了多尺度特征图和位置编码，生成包含目标查询的多层次特征。其架构由Backbone（Resnet提取特征）、Transformer编码器（MSdeformable self-attention）和解码器（MultiheadAttention和CrossAttention）组成，每个组件都发挥关键作用：

Backbone：Resnet-作为基础，提取来自第一到第三阶段的特征，第一阶段特征被冻结，使用Group Normalization。

Neck：将输入通道[, , ]映射到通道，利用ChannelMapper，生成4个输出特征图。

Bbox Head：采用DeformableDETRHead类型的结构，负责目标检测的最终预测。

       Deformable Attention的核心在于其创新的处理方式：参考点（Reference Points）作为关键元素，预先计算并固定，offsets由query通过线性层生成，Attention权重由query通过线性变换和Softmax函数确定。而在Value计算上，输入特征图通过位置选择，结合参考点和offset，实现精确特征提取。最后，Attention权重与Value的乘积经过Linear层，得出最终输出。

       在Decoder部分，Self-Attention模块关注对象查询，Cross-Attention则在对象查询与编码器输出间进行交互，生成包含物体特征的query。输入包含了query、值（编码器特征图）、位置编码、padding mask、参考点、空间形状等信息，输出则是每层decoder的object query和更新后的参考点。

       简化后的代码，突出了关键部分的处理逻辑，如Encoder使用Deformable Attention替换传统的Self Attention，输入特征map经过处理后，参考点的初始化和归一化操作确保了模型的高效性能。Decoder中的注意力机制和输入输出细节，都展现出模型灵活且精准的检测能力。

       Deformable DETR的设计巧妙地融合了Transformer的灵活性和Transformer架构的效率，为目标检测任务提供了全新的解决方案，展现出了其在实际应用中的优越性。