1.FasterTransformer Decoding 源码分析(三)-LayerNorm介绍
2.PyTorch 源码分析(三）：torch.nn.Norm类算子
3.retinanet 网络详解
4.UE4源码剖析：MallocBinned（上）
5.bootstrap和layer用哪个
6.DSIN 深度 Session 兴趣网络介绍及源码剖析

FasterTransformer Decoding 源码分析(三)-LayerNorm介绍

       本文深入探讨FasterTransformer中LayerNormalization（层归一化）的码分源码实现与优化。作为深度学习中的码分关键技术，层归一化可确保网络中各层具有相似的码分分布，从而加速训练过程并改善模型性能。码分背景介绍部分详细解释了层归一化的码分工作原理，强调其在神经网络中的码分反波系统源码高效并行特性与广泛应用。文章从代码起点开始剖析，码分具体路径位于解码过程的码分核心部分。调用入口展示了传入参数，码分包括数据描述和关键参数gamma、码分beta、码分eps，码分简洁直观，码分符合公式定义。码分深入源码的码分解析揭示了优化点，特别是针对特定数据类型和维度，使用了定制化内核。此设计针对高效处理半精度数据样本，减少判断指令，实现加速运算，且对偶数维度数据进行调整以最大化Warp特性利用。接下来，内核实现的详细描述，强调了通过共享内存与block、warp级归约实现公式计算的高效性。这部分以清晰的代码结构和可视化说明，解释了块级别与Warp级归约在单个块处理多个数据点时的动漫源码网站协同作用，以及如何通过巧妙编程优化数据处理效率。文章总结了FasterTransformer中LayerNormalization的整体优化策略，强调了在CUDA开发中基础技巧的应用，并指出与其他优化方案的比较。此外，文章还推荐了OneFlow的性能优化实践，为读者提供了一个深入探索与对比学习的资源。

PyTorch 源码分析(三）：torch.nn.Norm类算子

       PyTorch源码详解(三)：torch.nn.Norm类算子深入解析

       Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。

       1. BN/LayerNorm/InstanceNorm详解

       BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。

       gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。

       2. Norm算子源码分析

       继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。

       BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。

       计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。

       C++侧的农资源码源码洞察

       C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的数据视图和线程视图处理来提高性能。

retinanet 网络详解

       主干网络采用ResNet作为backbone。

       FPN层：输入照片尺寸为x，经过池化层后，通过ResNet网络提取特征，得到四个不同尺度的特征图，分别为layer1, layer2, layer3, layer4。源代码中的尺度融合从layer2层开始，经过尺度融合后得到f3, f4, f5, f6, f7五个不同尺度的特征层。

       一、Focal Loss：Retinanet网络的核心是Focal Loss，它在精度上超越了two-stage网络的精度，在速度上超越了one-stage网络的速度，首次实现了对二阶段网络的全面超越。

       Focal Loss是在二分类交叉熵的基础上进行修改，首先回顾一下二分类交叉熵损失。在训练过程中，正样本所占的损失权重较大，负样本所占的损失权重较小。然而，由于负样本的数量较多，即使权重较小，但大量样本数量叠加后同样带来很大的地图组件源码损失，导致在训练迭代过程中难以优化到最优状态。因此，Focal Loss在此基础上进行了改进。

       Focal Loss损失：论文中指出gamma=2.0, alpha=0.。当预测样本为简单正样本时，假设p=0.9，(1-p)的gamma次方会变得很小，因此损失函数值会变得非常小。对于负样本而言，当预测概率为0.5时，损失只减少0.倍，因此损失函数更加关注这类难以区分的样本。

       二、源代码讲解：model.py、anchors.py、losses.py、dataloader.py、train.py以上部分均为个人理解，如有错误欢迎各位批评指正。

       目前已实现口罩数据集检测，效果如下：

UE4源码剖析：MallocBinned（上）

       近期着手UE4项目开发，对UnrealEngine已久仰慕，终于得此机会深入探索。鉴于项目内存性能问题，决定从内存分配器着手，深入研读UE4源码。快运系统源码虽个人水平有限，尚不能全面理解，但愿借此机会揭开源码神秘面纱，让新手朋友们不再感到陌生。

       UE4内存分配器位于硬件抽象层HAL（Hardware Abstraction Layer）中。具体装箱内存分配器代码位于VS项目目录：UE4/Source/Runtime/Core/Private/HAL/MallocBinned。

       分析从ApplePlatformMemory::BaseAllocator开始，可发现Mac平台的默认分配器为MallocBinned，iOS的默认分配器为MallocAnsi。以下将重点分析MallocBinned。

       一、确定对齐方式

       FScopeLock用于局部线程锁，确保线程同步。关于Alignment的确定，通常使用默认值。默认值取决于内存对齐方式，此处默认对齐为8字节。

       二、确定有足够空间来内存对齐

       代码中，SpareBytesCount用于确认空间足够。若分配内存小于8字节，则按Alignment大小匹配箱体；若大于8字节，则按Size + Alignment - sizeof(FFreeMem)匹配箱体。

       三、确定箱体大小

       根据Size的大小，有三种不同的处理方式。k以下的内存分配采用装箱分配，PoolTable中包含个不同大小的池子。

       四、初始化内存池

       分析内存池初始化过程，主要工作包括：确定内存大小，分配内存块，设置内存池基本信息。

       五、内存装箱

       AllocateBlockFromPool从内存池中分配一个Block，实现内存装箱过程。

bootstrap和layer用哪个

       ä¸ŽåŒç±»å¼¹å‡ºå±‚组件相比，layer的优势明显。

       Bootstrap和layer布局Bootstrap 固定布局

       ä½¿ç”¨ Bootstrap 工具包来创建固定布局和流动布局。教程是基于 Bootstrap 版本 2.0。在版本 2.0 中，Bootstrap 为手机、平板电脑、笔记本、小型台式机、大型宽屏台式机等添加了响应特性。可以通过向页面添加 bootstrap-responsive.css 文件（位于 docs\assets\css 下）来让布局具有响应性。

layer弹窗

       layer，一个可以让你想到即可做到的web弹窗(层)解决方案(js组件)，作者贤心(前端开发工程师)。layer侧重于用户灵活的自定义，为不同人的使用习惯提供动力。其意义在于，可以让您的页面拥有更丰富与便捷的操作体验，而您只需在调用时简单地配置相关参数，即可轻松实现。

       Bootstrap，来自 Twitter，是目前很受欢迎的前端框架。Bootstrap 是基于 HTML、CSS、JavaScript 的，它简洁灵活，使得 Web 开发更加快捷。 它由Twitter的设计师Mark Otto和Jacob Thornton合作开发，是一个CSS/HTML框架。

       Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。Bootstrap一经推出后颇受欢迎，一直是GitHub上的热门开源项目，包括NASA的MSNBC(微软全国广播公司)的Breaking News都使用了该项目。 国内一些移动开发者较为熟悉的框架，如WeX5前端开源框架等，也是基于Bootstrap源码进行性能优化而来。

DSIN 深度 Session 兴趣网络介绍及源码剖析

       本文旨在深入剖析DSIN深度Session兴趣网络的基本原理与源码实现。DSIN网络专为用户历史行为序列建模，旨在捕捉用户兴趣的动态变化。核心亮点在于对用户行为序列进行Session划分，通过Session Interest Extractor Layer、Session Interest Interacting Layer、以及Session Interest Activating Layer三个核心组件，更好地理解用户在不同Session内的兴趣差异与演进。

       DSIN网络结构复杂，分为三个部分进行详细介绍。Session划分层对用户历史行为按照时间顺序进行合理分组，形成多个Session。Session兴趣提取层应用multi-head self-attention机制，捕获Session内部行为之间的内在关系。此外，引入Bias Encoding增强对Session内行为顺序的理解。Session兴趣交互层采用Bi-LSTM模型，探索Session兴趣间的动态变化与演进。最后，Session兴趣激活层通过Attention机制，量化目标商品与各Session兴趣之间的相关性。

       源码分析部分，代码主要处理了数据集Ad Display/Click Data on Taobao.com，并实现了DSIN网络从数据预处理、模型构建到训练的全过程。数据预处理涉及用户采样、行为编码、Session划分等步骤，确保数据符合模型需求。模型训练代码遵循规范，采用binary_crossentropy损失函数与adagrad优化方法，准确捕捉用户兴趣模式。

       通过DSIN网络的实现，能够有效预测用户对特定商品的点击概率，为个性化推荐系统提供强有力的支持。在代码层面的深入解析，有助于理解DSIN网络如何在实际应用中发挥作用，以及如何通过优化网络结构与参数，提升推荐系统的性能。

bootstrap和layer

       bootstrap和layer怎么使用

       Bootstrap布局

       ç®€ä»‹

       åœ¨æœ¬æ•™ç¨‹ä¸­ï¼Œæ‚¨å°†å­¦ä¹ å¦‚何使用Bootstrap工具包来创建固定布局和流动布局。教程是基于Bootstrap版本2.0。

       åœ¨ç‰ˆæœ¬2.0中，Bootstrap为手机、平板电脑、笔记本、小型台式机、大型宽屏台式机等添加了响应特性。

       å¯ä»¥é€šè¿‡å‘页面添加bootstrap-responsive.css文件（位于docs\assets\css下）来让布局具有响应性。

       Bootstrap固定布局

       å¦‚果您想要创建基于固定像素数的网页或app，请看这部分的教程。

       ç”¨æ³•

       body

       divclass="container"

       ...

       /div

       /body

       è§£é‡Š

       bootstrap.css（位于bootstrap的主文件夹的docs\assets\css下）的第到行，为创建主容器渲染样式，从而创建一个固定布局。固定布局的目的是为网页或app创建一个像素（默认）宽的布局。

       Bootstrap固定布局的实例

       ä¸‹é¢çš„代码创建一个网页固定布局。为了定制，除了默认样式，还需创建一个新的css文件example-fixed-layout.css，与bootstrap.css位于同一个文件夹下。

       CSS代码

       body{

       padding-top:px;

       padding-bottom:px;

       }

       .navli{

       padding-top:5px;

       }

       .leaderboard{

       padding:px;

       margin-bottom:px;

       background-image:url('/twitter-bootstrap/images/gridbg.gif');

       background-repeat:repeat;

       -webkit-border-radius:6px;

       -moz-border-radius:6px;

       border-radius:6px;

       }

       .leaderboardh1{

       font-size:px;

       margin-bottom:5px;

       line-height:1;

       letter-spacing:-1px;

       color:#FF;

       }

       .leaderboardp{

       font-size:px;

       font-weight:;

       line-height:px;

       }

       layerui和bootstrap的异同有哪些？

       boostrap国外的前端框架，比较成熟了，并且兼容多种设备，自适配比较好，组件比layui漂亮点

       layui是国人开发的，还处于开发阶段，并不是完全成熟的前端ui框架，准确地说，她更多是为服务端程序员量身定做，你无需涉足各种前端工具的复杂配置，只需面对浏览器本身，让一切你所需要的元素与交互，从这里信手拈来。

       ps：是layui，layer是layui的一个模块为弹窗模块

bootstrap和layer用哪个好？

       ä¸ŽåŒç±»å¼¹å‡ºå±‚组件相比，layer的优势明显。

       Bootstrap和layer布局

       Bootstrap固定布局

       ä½¿ç”¨Bootstrap工具包来创建固定布局和流动布局。教程是基于Bootstrap版本2.0。在版本2.0中，Bootstrap为手机、平板电脑、笔记本、小型台式机、大型宽屏台式机等添加了响应特性。可以通过向页面添加bootstrap-responsive.css文件（位于docs\assets\css下）来让布局具有响应性。

       layer弹窗

       layer，一个可以让你想到即可做到的web弹窗(层)解决方案(js组件)，作者贤心(前端开发工程师)。layer侧重于用户灵活的自定义，为不同人的使用习惯提供动力。其意义在于，可以让您的页面拥有更丰富与便捷的操作体验，而您只需在调用时简单地配置相关参数，即可轻松实现。

       Bootstrap，来自Twitter，是目前很受欢迎的前端框架。Bootstrap是基于HTML、CSS、JavaScript的，它简洁灵活，使得Web开发更加快捷。它由Twitter的设计师MarkOtto和JacobThornton合作开发，是一个CSS/HTML框架。

       Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。Bootstrap一经推出后颇受欢迎，一直是GitHub上的热门开源项目，包括NASA的MSNBC(微软全国广播公司)的BreakingNews都使用了该项目。国内一些移动开发者较为熟悉的框架，如WeX5前端开源框架等，也是基于Bootstrap源码进行性能优化而来。

正点原子lwIP学习笔记——网络数据包管理

       TCP/IP作为一种数据通信机制，其协议栈的实现本质上是对数据包的处理。为了实现高效率的处理，lwIP数据包管理提供了一种高效的机制。协议栈各层能够灵活处理数据包，同时减少数据在各层间传递时的时间和空间开销，这是提高协议栈工作效率的关键。在lwIP中，这种机制被称为pbuf。

       用户的数据经过申请pbuf，拷贝到pbuf结构的内存堆中。在应用层，数据的前面加上应用层首部，在传输层加上传输层首部，最后在网络层加上网络层首部。

       pbuf用于lwIP各层间数据传递，避免各层拷贝数据！

       lwIP与标准TCP/IP协议栈的区别在于，lwIP是一种模糊分层的TCP/IP协议，大大提高了数据传输效率！

       这是定义在pbuf.h中的关键结构体pbuf。通过指针next构建出了一个数据包的单向链表；payload指向的是现在这个结构体所存储的数据区域；tot_len是所有的数据长度，包括当前pbuf和后续所有pbuf；而len就是指当前pbuf的长度；type_internal有四种类型；ref代表当前pbuf被引用的次数。

       右边展示的pbuf_layer就是用来首部地址偏移，用来对应相应的结构体。

       PBUF_RAM采用内存堆，长度不定，一般用在传输数据；PBUF_POOL采用内存池，固定大小的内存块，所以分配速度快（一般字节，就是分配3个PBUF_POOL的内存池），一般用在中断服务中；PBUF_ROM和PBUF_REF都是内存池形式，而且只有pbuf没有数据区域，数据都是直接指向了内存区（PBUF_ROM指向ROM中，PBUF_REF指向RAM中）。

       左边第一幅对应PBUF_RAM；中间两幅对应PBUF_POOL；最后一幅对应PBUF_ROM和PBUF_REF。

       其中PBUF_RAM和PBUF_POOL相对更为常用。

       更多的函数，都可以在pbuf.c和.h中找到。pbuf_alloc()如果是PBUF_REF或者是PBUF_ROM，就会如上图所示，创建一个结构体指针p，然后会进入pbuf_alloc_reference；该函数中，会申请一个pbuf结构体大小的内存；然后调用pbuf_init_alloced_pbuf进行初始化，初始化可以如上图所示。

       如果是PBUF_POOL，会定义q和last两个pbuf结构体指针，q和last都初始化为NULL，rem_len（剩余长度）初始化为（用户指定需要构建的长度）；然后q会经过内存申请，qlen则是去rem_len和当前可申请的数据大小（PBUF_POOL_BUFSIZE_ALIGNED - LWIP_MEM_ALIGN_SIZE(offset)）取小值，然后同样经过pbuf_init_alloced_pbuf初始化q中的pbuf结构体；然后会把offset清零，就是说之后的pbuf都没有offset了，只有第一个链表的元素有offset；经过if判断并判断rem_len的大小，只要还有剩余就会回去循环继续执行上述操作，直到完成3个内存块的初始化。

       首先会计算payload_len和alloc_len，如果是传输数据，那么LWIP_MEM_ALIGN_SIZE(offset)就是，计算得到payload_len=，alloc_len=；然后进入判断payload和alloc的长度是否

       进入判断p是否为空，不为空证明还没有释放；进入while语句，每一次都--ref（引用次数）；然后类似链表删除，调用相应的pbuf类型的内存释放（内存堆或者内存池），直到p全部被释放。源码如下：

       这个就要看你使用的是什么类型，然后会根据类型来决定payload_len的大小，进行相应的payload指针指向数据区前的首部字段。

       这一章主要讲述了lwIP中重要的pbuf缓冲，具体有哪些数据构成，为之后的学习奠定基础，确定了pbuf除了所需传输的数据，还有哪些变量需要添加，如何申请对应的pbuf内存大小，以及对应的内存堆和内存池。