1.内存延迟与带宽分析
2.自建speedtest测速服务器教程，宽带宽Linux/Windows/群晖
3.网络性能测试工具 iperf 的测试测试使用
4.Linux网络性能测试工具——Iperf
5.中科大测速网 - 简单纯粹、免费开源的源码源码在线测速工具，使用免费无广告，宽带宽代码开源
6.CUDA编程OneFlow Softmax 算子源码解读之WarpSoftmax

内存延迟与带宽分析

       在现代计算机环境中，内存访问效率往往成为性能瓶颈。源码源码筛选和分页源码处理器访问内存的宽带宽速度，即延迟，测试测试以及每秒可以传输的源码源码数据量，即带宽，宽带宽是测试测试影响应用程序性能的关键因素。这两个因素在各种场景中都至关重要。源码源码本节将专注于评估内存子系统组件的宽带宽峰值性能。

       在x平台上，测试测试英特尔内存延迟检查器（MLC）是源码源码一个非常有用的工具，可以在Windows和Linux上免费使用。MLC可以通过不同的访问模式和负载来测量缓存和内存的延迟和带宽。在基于ARM的系统上，虽然没有类似的工具，但用户可以从源代码中下载并构建内存延迟和带宽基准测试，例如lmbench 2、bandwidth 4和Stream等。

       本节将讨论空闲读取延迟和读取带宽这两个子集指标。空闲读取延迟是指系统处于空闲状态时，从内存系统组件获取数据所需的最小时间。当系统被其他内存消耗大的应用程序加载时，此延迟会增加。MLC通过进行相关加载（也称为指针追踪）来测量空闲延迟。一个测量线程分配一个非常大的缓冲区，并对其进行初始化，以便缓冲区内的每个（字节）缓存行包含指向该缓冲区内另一个非相邻缓存行的指针。通过适当调整缓冲区的大小，我们可以确保几乎所有的加载都命中某个级别的缓存或主存。

       以下是一个测试系统的示例，包括英特尔Alderlake主机、Core i7-P CPU和GB DDR4 @ MT/s双通道内存。该处理器有4个性能P（实际上是两个物理核*2个超线程）超线程核心和8个E（高效）核心。每个P核心有KB的magic+arm+源码L1数据缓存和1.MB的L2缓存。每个E核心有KB的L1数据缓存，而四个E核心组成一个集群，可以访问共享的2MB L2缓存。系统中的所有核心都由MB的L3缓存支持。以下是示例mlc命令：

       选项--idle_latency用于测量读取延迟。MLC具有--loaded_latency选项，用于在由其他线程生成的内存流量存在时测量延迟。选项-c0将测量线程固定在逻辑CPU 0上，该CPU位于P核心上。选项-L启用大页以限制我们的测量中的TLB效应。选项-bm告诉MLC使用MB缓冲区，在我们的系统上可以放在L3缓存中。

       以下图表显示了L1、L2和L3缓存的读取延迟。左侧的第一个区域对应于L1d缓存，该缓存是每个物理核心私有的。我们可以观察到E核心的延迟为0.9ns，而P核稍高为1.1ns。此外，我们可以使用此图来确认缓存大小。请注意，当缓冲区大小超过KB时，E核心的延迟开始上升，但是在KB之前P核心的延迟保持不变。这证实了E核心的L1d缓存大小为KB，而P核心的L1d缓存大小为KB。

       第二个区域显示L2缓存延迟，E核的延迟几乎是P核的两倍（5.9ns vs. 3.2ns）。对于P核，延迟在我们超过1.MB缓冲区大小后会增加，这是预期的。但我们期望E核的延迟保持不变，直到2MB，但在我们的测量中没有发生这种情况。

       第三个区域从2MB到MB对应于L3缓存延迟，对于两种类型的内核都大约为ns。系统中所有内核共享的saltstack+源码阅读L3缓存的总大小为MB。有趣的是，我们从MB开始看到一些意想不到的动态变化，而不是MB。这很可能是因为一些访问错过了L3，需要去主内存。

       第四个区域对应于内存延迟，图表上只显示了其开始部分。当我们越过MB的边界时，延迟会急剧上升，并在E核心的MB和P核心的MB处开始趋于稳定。使用更大的缓冲区大小为MB时，E核心的访问延迟为ns，P核心为ns。这测量了内存延迟，因为几乎没有加载会命中L3缓存。

       使用类似的技术，我们可以测量内存层次结构的各个组件的带宽。为了测量带宽，MLC执行的加载请求不会被任何后续指令使用。这允许MLC生成可能的最大带宽。MLC在每个配置的逻辑处理器上生成一个软件线程。每个线程访问的地址是独立的，线程之间没有数据共享。与延迟实验一样，线程使用的缓冲区大小确定了MLC是在测量L1/L2/L3缓存带宽还是内存带宽。

       这里的新选项是-k，它指定了用于测量的CPU编号列表。-Y选项告诉MLC使用AVX2加载，即每次加载字节。MLC使用不同的读写比例来测量带宽，但在下图中，我们只显示了全部读取带宽，因为它可以让我们对内存带宽的峰值有一个直观的了解。但其他比例也可能很重要。我们在使用Intel MLC测量的系统的组合延迟和带宽数字如图下所示。

       核心可以从较低级别的缓存（如L1和L2）中获得比从共享的L3缓存或主内存中更高的带宽。共享缓存（如L3和E核心L2）相当好地扩展，unity+loom源码可以同时为多个核心提供请求。例如，单个E核心L2的带宽为GB/s。使用来自同一集群的两个E核心，我测量了GB/s，三个E核心为GB/s，而所有四个E核心可以从共享L2中获得GB/s。对于L3缓存也是如此，单个P核心的带宽为GB/s，而单个E核心只有GB/s。但是当所有核心都被使用时，L3缓存可以维持GB/s的带宽。

       我们用纳秒测量延迟，用GB/s测量带宽，因此它们还取决于核心运行的频率。在各种情况下，观察到的数字可能不同。例如，假设仅在系统上以最大睿频运行时，P核心的L1延迟为X，L1带宽为Y。当系统负载满时，我们可能观察到这些指标分别变为1.X和0.Y。为了减轻频率效应，与其使用纳秒，延迟和度量可以使用核心周期来表示，并归一化为一些样本频率，比如3Ghz。

       了解计算机的主要特征是评估程序如何利用可用资源的基本方法。通过屋顶线性能模型了解系统的瓶颈在哪里，是CPU运算的瓶颈还是内存读取的瓶颈。如果经常在单个平台上分析性能，最好记住内存层次结构的各个组件的延迟和带宽，这有助于建立对测试系统的心理模型，将有助于进一步的性能分析。

自建speedtest测速服务器教程，Linux/Windows/群晖

       您可以在VPS上搭建speedtest测速网站以测试VPS的人脸融合+app源码带宽，或在内网中搭建speedtest测试内网带宽。本文将介绍如何在Linux、Windows和群晖上搭建speedtest服务器。

       高性价比和便宜的VPS/云服务器推荐： blog.zeruns.tech/archiv...

       什么是speedtest

       speedtest主要使用HTML和JavaScript，通过客户端浏览器上传和下载垃圾数据来测试HTTP传输速度，与常用的speedtest.net相似。speedtest可以使用任何操作系统上的任何Web服务器作为服务端，理论上支持Windows/MacOS/Linux/Unix等系统，IIS/Nginx/Apache/lig/?...

       安装好后会显示面板地址和账号密码，复制到浏览器打开。

       然后按照下图选择安装套件

       接着添加网站，域名那里填自己的域名，如果没有域名可以直接填IP

       接着下载speedtest源码然后上传到服务器： /i8X6oeasf

       然后直接访问域名或服务器IP即可打开测速页面。

       群晖

       首先下载speedtest并上传到群晖，speedtest下载： /i8X6oeasf 将speedtest包中的文件上传到群晖共享文件夹的某个目录，如下图

       从套件中心找到并安装Web Station和PHP 7.0

       打开Web Station套件，选择PHP设置，编辑默认PHP配件文件。勾选openssl

       选择虚拟主机，点击新增，然后按下图配置虚拟主机。其中端口和文档根目录按实际情况设置

       安装完成后，浏览器打开群晖IP加你自己设置的端口即可打开测速页面。

网络性能测试工具 iperf 的使用

       在网络服务中，带宽是指单位时间内数据流量的大小，常用单位有b/s、Kb/s、Mb/s等，其中1 Byte=8 bit。为了测试带宽性能，专业的网络性能测试工具Iperf3因其功能强大而被推荐。

       Iperf3不仅可以测试TCP和UDP的最大带宽，还提供延迟抖动和数据包丢失的报告，适用于各种操作系统。在 CentOS 7.2 中，推荐使用rpm包安装，如果需要，也可选择源码编译，但后者过程较为繁琐。Windows 用户则需从iperf.fr下载安装包，解压后将关键文件复制到指定目录并确保防火墙关闭。

       Iperf3分为客户端和服务器模式，它拥有一系列参数供用户根据需要调整。具体使用方法和详细参数可参考相关博客。运行iperf3后，结果分为两类：客户端显示的即时数据，以及通过--get-server-output获取的服务端详细报告。

       理解并有效利用iperf3的输出报告，如带宽峰值、丢包率等，是优化网络性能的重要步骤。通过实践和学习，用户可以更好地掌握这个实用工具，提升网络测试的准确性和效率。

Linux网络性能测试工具——Iperf

       Iperf是一款用于测试网络性能的工具，它能够评估TCP和UDP带宽，具有多种参数和UDP特性，能够提供带宽、延迟抖动和数据包丢失的数据报告。Iperf3在NLNR/DAST的原始版本基础上重新设计，旨在提供更小、更简单的代码库，并增加Iperf不具备的新功能，如nuttcp和netperf。

       Iperf适用于Linux、Windows、Android、Mac等多个操作系统。该工具的源代码可以从官方网站或GitHub进行下载。在Ubuntu .下，可以首先下载压缩包iperf-3.1.3.tar.gz，解压后进入目录，然后进入build/bin安装目录，查看并运行iperf3可执行文件。运行时，输入“iperf3 -h”可查看命令列表。

       以下为具体命令的解释：

       表1：服务器端专用选项的含义

       表2：客户端专用选项的含义

       表3：客户端与服务器端公用选项的含义

       使用Iperf进行TCP吞吐量测试时，首先在服务器端（如IP地址为...的服务器）运行“iperf3 -s”以开启服务器模式。默认情况下，iperf3将在服务端打开一个监听端口。此时，另一台服务器作为客户端执行iperf功能。默认运行时间为秒，每秒输出一次传输状态，显示每秒传输的数据量，约为MB。网络卡的带宽速率维持在Mbits/sec左右，与千兆网卡的性能相符。输出包括总的数据发送和接收量以及带宽速率的平均值，通过这些值可以判断网络带宽是否正常、网络传输状态是否稳定。

       进行UDP丢包和延迟测试时，使用以下参数：

       - 参数：-u 使用UDP

       - 参数：-b 指定UDP模式使用的带宽

       - 参数：-f 指定带宽输出单位

       - 参数：-i 指定每次报告之间的时间间隔，单位为秒。Jitter代表抖动时间或传输延迟，Lost/Total列表示丢失的数据报和总的数据报数量，Datagrams”列显示的是总共传输数据报的数量。服务器端和客户端输出分别表示了测试结果。

       以下为推荐网站资源：

       [1] Iperf官网

       [2] Iperf-Github

       [3] Iperf3详细介绍

       [4] Iperf论坛

       [5] 更详细的参数介绍

       [6] Linux网络性能评估工具iperf、CHARIOT测试网络吞吐量

中科大测速网 - 简单纯粹、免费开源的在线测速工具，使用免费无广告，代码开源

       中国科学技术大学开发的免费在线测速工具「中科大测速网」，界面简洁，功能纯粹，无广告干扰，代码开源，兼容所有现代浏览器。不论Windows、macOS还是Linux系统，只需打开浏览器即可使用，高效测试网络的上行、下行带宽。该工具的全球版本提供不同国家节点的测速选择，使用稳定且结果准确，推荐收藏。

       此工具分为国内版和全球版。国内版专为国内网络环境设计，而全球版则提供多个国际节点，便于用户在全球范围内进行网络测速。使用方法简单，只需打开网页即可自动开始测速，无需操作。测速结果关注的重点是上传速度和下载速度，帮助用户判断网络是否正常。

       在使用测速工具前，了解带宽的基本常识非常重要。例如，Mbps的宽带理论上最大下载速度为.5m/s，最大上传速度是下载速度的一半，即大约5-6m/s。了解这些常识能帮助用户更好地识别网络问题的根源。

       测速工具的稳定性和准确性对于网络诊断至关重要。中科大测速网使用体验良好，测速结果精准，推荐用户在出现网络问题时使用。工具支持国内版和全球版，满足不同用户需求。

       对于家用宽带，用户可以参考带宽的基本常识来判断网络问题。例如，了解最大下载和上传速度的计算方法，有助于用户识别网络是否正常运行。同时，了解网络传输的复杂性，以及下载源服务器的带宽限制，能帮助用户更好地理解实际网络速度。

       使用测速工具判断网络故障时，可参考实际测速结果与带宽数值的比较。如果多次测速结果低于带宽数值，可能意味着设备存在故障。通过对比测速结果与带宽数值，用户可以快速判断网络问题是否由设备引起。

       「中科大测速网」是一款免费开源的在线测速工具，源自国内知名高校中国科学技术大学。工具基于MIT开源协议，任何人都可以免费使用，并且源码可供有兴趣的开发者下载，进行二次开发或应用于个人项目。该工具不仅提供了实用的测速功能，还促进了开源社区的发展，提升了网络测速工具的可用性和创新性。

CUDA编程OneFlow Softmax 算子源码解读之WarpSoftmax

       深度学习框架中的Softmax操作在模型中扮演关键角色，尤其在多分类任务中，其用于将logits映射成概率分布，或在Transformer结构中衡量query与key的相似度。Softmax的CUDA实现直接关系到模型训练效率。本文以OneFlow框架中的一种优化Softmax实现为例，即Warp级别的Softmax，特别适用于矩阵宽度不超过的场景。

       Softmax操作的计算公式如下：

       [公式]

       为解决数值溢出问题，通常先减去向量的最大值。优化后的公式为：

       [公式]

       Softmax计算涉及五个关键步骤：reduceMax、broadcastSub、exp、reduceSum、broadcastDiv。本篇文章将深入探讨OneFlow源码中的实现技巧。

       OneFlow采用分段函数优化SoftmaxKernel，针对不同数量的列选择不同实现策略，以适应各种场景。为实现优化，OneFlow提供三种Softmax实现方式，以期在所有情况下达到较高的有效带宽。

       对于WarpSoftmax分支，源码中函数调用关系清晰，实现细节分为四部分：数据Pack、调用链、DispatchSoftmaxWarpImpl、DispatchSoftmaxWarpImplCols、DispatchSoftmaxWarpImplPadding、LaunchSoftmaxWarpImpl。各部分分别专注于提升访问带宽、确定函数参数、实现核心计算逻辑。

       在WarpSoftmax的核函数SoftmaxWarpImpl中，重点实现以下步骤：核函数启动参数确定、线程网格形状定义、数据加载到寄存器、计算最大值、计算指数和、规约操作、通信优化等。实现过程中，OneFlow通过优化数据访问模式、利用寄存器存储中间结果、并行规约操作，以及束内通信，提升了计算效率。

       总结WarpSoftmax源码中的关键点，本文详细解读了其优化策略与实现细节，旨在提高模型训练速度。通过深入分析OneFlow框架中的Softmax实现，读者可以更全面地理解深度学习框架在CUDA环境下进行优化的策略。