1.Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读
2.Pytorch hook 与 dataparallel 使用—— deoldify 源码解析 part1
3.lightgbm-gpu安装-踩坑现场
4.硬核观察 #1112 1/7 的码泄 Linux 内核代码是 AMD GPU 驱动代码
5.AMD Navi 14 GPU的性能究竟如何？
6.[推理部署]👋解决: ONNXRuntime(Python) GPU 部署配置记录

Python语言学习（三）：Tensorflow_gpu搭建及convlstm核心源码解读

       在探索深度学习领域，使用Python语言进行编程无疑是码泄一条高效且灵活的途径。尤其在科研工作或项目实施中，码泄Python以其丰富的码泄库资源和简单易用的特性，成为了许多专业人士的码泄首选。本文旨在分享在Windows系统下使用Anaconda搭建TensorFlow_gpu环境及解读ConvLSTM核心源码的码泄phpmap源码过程。在提供具体步骤的码泄同时，也期待读者的码泄反馈，以持续改进内容。码泄

       为了在Windows系统下搭建适合研究或项目的码泄TensorFlow_gpu环境，首先需要确认TensorFlow_gpu版本及其对应的码泄cuDNN和CUDA版本。访问相关网站，码泄以获取适合自身硬件配置的码泄版本信息。以TensorFlow_gpu2.为例，码泄进行环境搭建。码泄

       在Anaconda环境下，通过命令行操作来创建并激活特定环境，如`tensorflow-gpu`环境，选择Python3.版本。接着，安装cuDNN8.1和CUDA.2。推荐使用特定命令确保安装过程顺利，亲测有效。随后，使用清华镜像源安装TensorFlow_gpu=2..0。激活虚拟环境后，使用Python环境验证安装成功，通常通过特定命令检查GPU版本是否正确。

       为了在Jupyter Notebook中利用该环境，需要安装ipykernel，并将环境写入notebook的kernel中。激活虚拟环境并打开Jupyter Notebook，通过命令确保内核安装成功。奔梦源码下载

       对于ConvLSTM核心源码的解读，重点在于理解模型的构建与参数设置。模型核心代码通常包括输入数据维度、模型结构、超参数配置等。以官方样例为例，构建模型时需关注样本整理、标签设置、卷积核数量等关键参数。例如，输入数据维度为（None，，，1），输出数据维度为（None，None，，，）。通过返回序列设置，可以控制模型输出的形态，是返回单个时间步的输出还是整个输出序列。

       在模型改造中，将彩色图像预测作为目标，需要调整模型的最后层参数，如将`return_sequence`参数更改为`False`，同时将`Conv3D`层修改为`Conv2D`层以适应预测彩色图像的需求。此外，选择合适的损失函数（如MAE）、优化器（如Adam）以及设置Metrics（如MAE）以便在训练过程中监控模型性能。

       通过上述步骤，不仅能够搭建出适合特定研究或项目需求的夺宝源码是什么TensorFlow_gpu环境，还能够深入理解并灵活应用ConvLSTM模型。希望本文内容能够为读者提供有价值的指导，并期待在后续过程中持续改进和完善。

Pytorch hook 与 dataparallel 使用—— deoldify 源码解析 part1

       在调整项目deoldify从单GPU到多GPU训练时，遭遇了一系列问题，促使我对PyTorch的理解进一步加深。项目中的Unet结构在上采样过程中使用了skip connection，通常做法是硬编码实现，这种方式简洁明了，但若需要改变网络结构，如从resnet调整为resnet，这样的硬编码方式显然不够灵活。

       deoldify采取了另一种方法，在需要保存输出的网络层中插入自定义的hook函数，并利用PyTorch的register_forward_hook接口，确保每次前向传播时都能触发该函数，从而保存输出以供后续使用。自定义hook的核心代码展示了这一过程。

       在单GPU训练中，上述方法运行正常，然而在多GPU环境下，遇到了hook存储的值与concat操作的权重不在同一GPU设备上的问题，引发错误。起初，我误以为nn.DataParallel会自动处理这个问题，但事实并非如此，我开始了深入的debug之旅。

       首先，成功复现了错误现象，发现存储在hook中的值分布不均，部分在GPU1上，其他在GPU0上。apm四轴源码这表明nn.DataParallel并没有将hook备份并分发到每个GPU上，而是多个GPU共享同一个Hooks类及接口。进一步检查发现，不同线程对应的hook接口及存储值的内存地址相同，这证实了hook并不适用于多GPU运行环境。

       为解决这一问题，参考了相关文献，并将hook接口进行了修改，引入当前线程ID作为键，值对应输出，从而实现了线程安全。这一调整使得程序在第一个迭代周期正常运行。值得注意的是，第二个迭代周期又出现了问题，但这与hook的多线程运行无关，详情请见后续文章。

       在debug过程中，为了简化操作，插入打印信息来观察多线程运行情况。然而，在获取hook中多线程运行信息时，遇到了异常，因获取`self.stored[key]`时报出`dict找不到key`的错误，这是因为多线程在写入`hook.stored`时，for循环期间警告`self.stored`的大小发生变化，这表明发生了并发错误，部分值并未正确写入。最终，删除了打印代码，程序恢复正常运行。

       本次经历不仅解决了多GPU环境下hook使用的问题，也加深了我对PyTorch多GPU运行机制的tpcx_BB源码理解，特别是关于线程安全和并发操作的注意事项。

lightgbm-gpu安装-踩坑现场

       为了实现lightgbm的GPU支持，您需要准备一些必要的工具包并遵循特定的步骤。首先，您需要下载并安装cmake、boost和lightgbm。

       对于cmake，您可以从其官方网站下载最新版本。当您下载并安装了cmake后，请确保将boost库文件的路径进行适当的修改。

       接下来，使用git从github下载lightgbm源代码。在下载的文件夹中创建一个名为“build”的文件夹并进入，然后在该文件夹内创建一个空的CMakeList.txt文件。

       在命令行中，定位到“build”目录并运行以下命令进行配置和构建：

       cmake -A x -DUSE_GPU=1 -DBOOST_ROOT=D:/software_work_install/boost_1__0 -DBOOST_LIBRARYDIR=D:/software_work_install/boost_1__0/lib -DOpenCL_LIBRARY="C:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v.0/lib/x/OpenCL.lib" -DOpenCL_INCLUDE_DIR="C:/Program Files/NVIDIA GPU Computing Toolkit/CUDA/v.0/include" ..

       为了确保正确安装，参考链接提供了详细的cmake命令行安装指南以及安装SDK的步骤。执行上述命令后，您将看到“build”目录下生成了许多文件。

       接下来，通过执行命令“cmake --build . --target ALL_BUILD --config Release”，在“build/x”目录下生成“Release”文件夹。然后，通过命令“cd ..”回到上一层目录，进入“python-package”文件夹并执行“python setup.py install –-precompile”以完成安装。

       请注意，尽管您可能已经成功安装了GPU版本的lightgbm，但您在Jupyter中使用自己的代码时仍可能遇到缺少GPU的错误。这可能与依赖库的兼容性问题有关。因此，尽管您尝试了多次安装，但为了节省时间，您可能决定暂时放弃安装GPU版本的包。

       除了使用git clone和pip安装方式外，还有另一种方法是直接使用pip进行安装。您可以使用以下命令行命令：

       pip install lightgbm --install-option=--gpu --install-option="--boost-root=D:/software_work_install/boost_1__0" --install-option="--boost-librarydir=D:/software_work_install/boost_1__0/lib" --install-option="--opencl-include-dir=/usr/local/cuda/include/"

       如果您选择使用cmake GUI进行安装，步骤类似，但操作方式有所不同。通过GUI界面配置和生成构建文件后，您可能会遇到与版本兼容性相关的问题。

       安装过程可能会涉及一些挑战，例如确保所有依赖包的兼容性。在尝试解决安装问题时，可能会遇到各种错误和警告。在安装过程中遇到问题时，查看错误日志文件（如CMakeError.log）可能会提供进一步的线索和解决方案。

       请确保在安装过程中遵循正确的步骤和注意事项，并在遇到问题时查阅相关文档或论坛以寻求帮助。安装lightgbm GPU支持的完整过程可能涉及多个步骤和调整，确保您的开发环境与所有依赖库兼容至关重要。

硬核观察 # 1/7 的 Linux 内核代码是 AMD GPU 驱动代码

       Linux 内核代码的硬核观察揭示了一个显著的事实：AMD GPU 驱动代码占据了内核源代码的1/7以上，具体超过了万行。这其中包括AMD为每代新GPU提供的大量自动生成的头文件，它们就像详尽的文档，反映出AMD对驱动开发的投入。相比之下，英伟达开源的Nouveau驱动代码只有约万行，显示出AMD在内核贡献上的巨大影响力。

       尽管AMD在代码贡献上积极主动，但老王对此提出疑问：在内核中不断增加代码是否真的有益？尤其考虑到ReiserFS的命运。曾经流行的ReiserFS日志文件系统因开发者的个人问题而停滞，最终在Linux 5.及后续版本中被标记为废弃。其后，随着主要开发者入狱，ReiserFS项目逐渐消亡，反映出开发者社区对项目污点的敏感和项目延续性的依赖。

       另一个例子是Visual Studio for Mac，微软的Mac版开发工具，从开源到闭源，最终被计划在年废弃。VS Mac曾作为.NET IDE，但与Windows版本的差距明显。微软在发现VS Code更受欢迎后，逐渐淘汰边缘项目，而MonoDevelop的开源替代品DotDevelop仍在持续发展中。

AMD Navi GPU的性能究竟如何？

AMD Navi GPU规格泄露，表现不如预期

       AMD的RDNA架构带来了RX 系列显卡的革新，但针对中低端市场的Navi 核心并未如预期般高调亮相。近期，一份CompuBench成绩揭示了这款未命名GPU的规格，它拥有组CU，相较于RX 的/组明显减少，且显存容量仅为4GB。测试结果显示，其性能仅达到RX XT的%左右，预示着更低的定位。

       AMD已开始为Navi GPU提交驱动源代码，并启用相关驱动，Linux驱动提交频度的提升显示出AMD正在加速RDNA显卡的开发。最近，蓝宝石在欧洲注册了Radeon RX 等型号，表明采用Navi GPU的新显卡即将面世，但目前的成绩可能尚处于早期驱动阶段，未来性能提升的空间值得期待。

[推理部署]👋解决: ONNXRuntime(Python) GPU 部署配置记录

       在探索深度学习推理部署过程中，ONNXRuntime(GPU)版本提供了简化ONNX模型转换和GPU加速的途径。本文将分享ONNXRuntime GPU部署的关键步骤，以助于高效解决问题和提高部署效率。

       首先，选择正确的基础镜像是部署ONNXRuntime GPU的关键。ONNXRuntime GPU依赖CUDA库，因此，镜像中必须包含CUDA动态库。在Docker Hub搜索PyTorch镜像时，选择带有CUDA库的devel版本（用于编译）是明智之举，尽管runtime版本在某些情况下也有效，但devel版本提供了更好的CUDA库支持。

       对于runtime和devel版本的选择，重要的是理解它们各自的用途。runtime版本适用于直接使用ONNXRuntime GPU进行推理，而devel版本则用于构建过程，确保在构建过程中可以访问CUDA库，从而避免因版本不匹配导致的问题。在使用pip安装时，两者都是可行的；若需从源码构建，则需使用devel版本。

       启动Docker镜像时，使用nvidia-docker启动并登录PyTorch 1.8.0容器至关重要，以确保能够访问GPU资源。确保宿主机显卡驱动正常，以避免在容器内无法使用GPU的情况。

       安装ONNXRuntime-GPU版本后，通过pip进行安装，检查是否能正常利用GPU资源。ONNXRuntime将自动识别可用的CUDA执行提供者（如TensorrtExecutionProvider和CUDAExecutionProvider），确保GPU推理加速。

       若发现无法利用GPU，可以尝试调整配置或确保已正确设置CUDA路径到PATH环境变量（在使用devel版本时）。在成功安装和配置后，ONNXRuntime将提供GPU加速的推理性能提升。

       在部署ONNXRuntime GPU时，确保在新建InferenceSession时加入TensorrtExecutionProvider和CUDAExecutionProvider，以充分利用GPU资源。性能测试显示，与CPU相比，GPU部署在推理任务上表现更优。

       总结而言，ONNXRuntime GPU部署涉及选择合适的基础镜像、正确启动Docker容器、安装ONNXRuntime GPU、配置GPU资源访问以及优化推理性能。通过遵循上述步骤，可以顺利实现ONNX模型在GPU上的高效部署。

GPU编程9：共享内存3→线程同步和数据布局

       并行线程间的同步是所有并行计算语言的重要机制，确保数据一致性与程序顺序执行。共享内存可以同时被线程块中的多个线程访问，当不同步的多个线程修改同一个共享内存地址时，将导致线程内的冲突。CUDA提供障碍(barrier)和内存栅栏(memory fences)来实现块内同步。

       在弱排序内存模型下，GPU线程在不同内存写入数据的顺序不一定和这些数据在源码中的顺序相同，且一个线程的写入顺序对其他线程可见时，可能与写操作被执行的实际顺序不一致。为了显式地强制程序确切顺序执行，必须在代码中插入内存栅栏和障碍。

       同步方法包括显式障碍和内存栅栏。显式障碍只能在同一线程块的线程间执行，通过调用void __syncthreads()函数来指定一个barrier点。__syncthreads作为barrier点要求块中的线程必须等待直到所有线程都到达该点。内存栅栏功能可确保栅栏前的任何内存写操作，对栅栏后的其他线程都是可见的，包括块、网格或系统级的内存栅栏。

       Volatile修饰符用于防止编译器优化，避免数据在寄存器或本地内存中被缓存。GPU全局内存常驻在设备内存（DRAM)，访问粒度可以是个字节或个字节，共享内存的访问粒度为4字节或8字节存储体宽。

       数据布局通过选择共享内存的形状和访问方式来优化全局内存加载。方形共享内存块可以通过相邻线程访问邻近元素来优化，最佳实现方式是按行主序写、按行主序读。对于行列不等长的矩阵转置，可以使用共享内存进行并行归约或展开并行归约，以减少全局内存的访问。

       通过全局内存进行矩阵转置时，读取行、存储列或读取列、存储行都会有一次读写的交叉访问。使用共享内存作为中转可以提高效率，因为共享内存相比全局内存有更好的带宽。共享内存中的交叉访问效率也高于全局内存。

       性能上下限在不同硬件下表现可能不同，具体原因尚不明确。在实际编码中需要注意这个问题。