1.78. Python DictReader类读取csv文件（含源代码解析）
2.深入理解 Python 虚拟机：列表（list）的源码实现原理及源码剖析
3.Python modbus_tk 库源码分析
4.教你阅读 Cpython 的源码（一）
5.Pytorch之Dataparallel源码解析
6.PyTorch 源码分析(三）：torch.nn.Norm类算子

78. Python DictReader类读取csv文件（含源代码解析）

       CSV模块包含两种类：DictReader和DictWriter。DictReader用于以字典形式读取CSV文件内容，解析而DictWriter则以字典形式写入CSV文件内容。源码CSV模块的解析DictWriter类提供了三个方法：writeheader用于写入表头，writerow用于每次写入一行，源码而writerows用于每次写入多行。解析蓝牙连接源码

       定义在类外部的源码函数被称为自定义函数，而定义在类内部的解析函数则被称为方法。类属性定义在类内部非方法外，源码而实例属性则是解析实例对象的属性，也称为实例变量。源码

       创建实例对象的解析语法是：对象名=类名( )。调用类属性和方法的源码语法分别是：对象名.属性和对象名.方法名(值,...)。

       在准备工作中，解析我们通过实例化DictWriter类创建对象，源码将内容写入CSV文件，得到1班成绩单.csv文件。为了查看写入的内容，我们学习了使用代码方式查看文件内容。

       DictReader类用于以字典形式读取文件内容。运行代码后，得到一个csv.DictReader对象，表示创建了一个读取文件内容以字典形式输出的对象。调用属性fieldnames获取CSV文件的表头信息。

       定义一个类，并在类中定义初始化方法__init__，在方法中使用实例属性。实例化类创建对象时，传入值给属性fieldnames。for循环遍历csv.DictReader对象，输出字典内容。单页源码盗取

       CSV模块的两个类：DictReader和DictWriter。DictReader类用于以字典形式读取CSV文件内容，而DictWriter类则以字典形式写入CSV文件内容。DictWriter类的三个方法：writeheader用于写入表头，writerow用于每次写入一行，writerows用于每次写入多行。

       课堂练习环节提供了实践机会，帮助巩固理解和应用CSV模块的知识。

深入理解 Python 虚拟机：列表（list）的实现原理及源码剖析

       深入理解 Python 虚拟机：列表（list）的实现原理及源码剖析

       在 Python 虚拟机中，列表作为基本数据类型之一，能够存储各种类型的数据并支持多种操作。本文将详细解析列表在 cpython 实现中的结构和关键操作的源代码。

       列表结构解析

       在 cpython 实现中，列表由一系列元素构成，每个元素由一个指针指向 Python 对象。列表还包含一个表示元素数量的字段，一个用于存储列表长度的字段，以及一个用于存储对象引用计数的字段。

       创建和扩容机制

       创建列表时，不会直接分配内存，而是将需要释放的内存地址保存在数组中，以便下次创建列表时复用。列表扩容时，通过检查当前容量并相应地增加，以适应新添加的元素。

       插入和删除操作

       插入元素时，将插入位置及其后元素后移一位。删除元素时，将后续元素前移，直至空位。自动精灵源码论坛

       复制操作

       列表复制分为浅拷贝和深拷贝。浅拷贝仅复制对象的指针，改变原始列表中的元素会影响复制后的列表。深拷贝则复制对象及其内部内容，确保复制后的列表独立于原始列表。

       列表清理和反转

       清空列表时，将元素数量字段设置为零，并减少所有对象的引用计数，以便在计数为零时自动释放内存。反转列表使用交换元素指针实现，不改变元素值。

       总结

       本文深入介绍了 Python 列表的内部实现，包括创建、扩容、插入、删除、复制、清理和反转等操作的源代码。理解这些细节有助于更高效地编写 Python 代码并深入掌握 Python 的内部机制。

Python modbus_tk 库源码分析

       modbus_tcp 协议是工业项目中常用的设备数据交互协议，基于 TCP/IP 协议。协议涉及两个角色：client 和 server，或更准确地称为 master 和 slave。modbus_tk 库作为 Python 中著名且强大的 modbus 协议封装模块，其源码值得深入分析，尤其是在关注并发量等方面的需求时。深入研究 modbus_tk 库的源代码和实现逻辑，对在库的基础上进行更进一步的开发尤其重要。因此，本文旨在提供对 modbus_tk 库源码的缩量调整源码深入解析，以供参考。

       实例化 TcpMaster 对象时，首先导入 TcpMaster 类，该类继承自 Master，但在实例化时并未执行任何操作。Master 的 `__init__()` 方法同样没有执行任何具体任务，这使得 TCP 链接在创建 TcpMaster 实例时并未立即建立。TCP 链接的建立在 `open()` 方法中实现，该方法由 TcpMaster 类执行。在 `open()` 方法中，自定义了超时时间，进一步保证了 TCP 连接的建立。

       在 TcpMaster 类的 `execute()` 方法中，核心逻辑在于建立 TCP 协议的解包和组包。在读写线圈或寄存器等操作时，都会调用 `execute()` 方法。详细分析了 `execute()` 方法的具体实现，包括通过注释掉的组包等过程代码，以及 `TcpMaster._make_query()` 方法的实现。`_make_query()` 方法封装了请求构建过程，包括生成事务号、构建请求包和发送请求。

       在请求构建完成后，`_send()` 方法负责通过 `select` 模块进行连接状态检测，确保发送数据前连接无异常。通过分析 `execute()` 方法的后续逻辑，我们能够看到一个完整的组包、发送数据及响应解析的源码流程。响应解析涉及 `TcpMaster.execute()` 方法中对 MBAP 和 PDU 的分离、解包及数据校验。源码吐槽网

       在解析响应信息时，`TcpQuery().parse_response()` 方法解包并验证 MBAP 和 PDU，确保数据一致性。通过此过程，获取了整个数据体，完成了响应信息的解析。在 `execute()` 方法的后续部分，没有执行新的 I/O 操作，进一步简化了流程。

       为了保障线程安全，`threadsafe` 装饰器被添加在 `Master.execute()` 方法及 `TcpQuery._get_transaction_id()` 方法上。这一装饰器确保了跨线程间的同步，但可能引起资源竞争问题。在实际应用中，为了避免同一设备不能同时读写的情况，可以显式传递 `threadsafe=False` 关键字参数，并实现自定义锁机制。

       modbus_tk 模块提供了丰富的钩子函数，如 `call_hooks`，在数据传递生命周期中自动运行，实现特定功能的扩展。常见的钩子函数包括初始化、结束、请求处理等，这些功能的实现可以根据具体需求进行定制化。

教你阅读 Cpython 的源码（一）

       目录

1. CPython 介绍

       在Python使用中，你是否曾好奇字典查找为何比列表遍历快？生成器如何记忆变量状态？Cpython，作为流行版本，其源代码为何选择C和Python编写？Python规范，内存管理，这里一一揭示。

       文章将深入探讨Cpython的内部结构，分为五部分：编译过程、解释器进程、编译器和执行循环、对象系统、以及标准库。了解Cpython如何工作，从源代码下载、编译设置，到Python模块和C模块的使用，让你对Python核心概念有更深理解。

       2. Python 解释器进程

       学习过程包括配置环境、文件读取、词法句法解析，直至抽象语法树。理解这些步骤，有助于你构建和调试Python代码。

       3. Cpython 编译与执行

       了解编译过程如何将Python代码转换为可执行的中间语言，以及字节码的缓存机制，将帮助你认识Python的编译性质。

       4. Cpython 中的对象

       从基础类型如布尔和整数，到生成器，深入剖析对象类型及其内存管理，让你掌握Python数据结构的核心。

       5. Cpython 标准库

       Python模块和C模块的交互，以及如何进行自定义C版本的安装，这些都是Cpython实用性的体现。

       6. 源代码深度解析

       从源代码的细节中，你会发现编译器的工作原理，以及Python语言规范和tokenizer的重要性，以及内存管理机制，如引用计数和垃圾回收。

       通过本文，你将逐步揭开Cpython的神秘面纱，成为Python编程的高手。继续深入学习，提升你的Python技能。

       最后：结论

       第一部分概述了源代码、编译和Python规范，后续章节将逐步深入，让你在实践中掌握Cpython的核心原理。

       更多Python技术，持续关注我们的公众号：python学习开发。

Pytorch之Dataparallel源码解析

       深入解析Pytorch之Dataparallel源码

       在深入理解Dataparallel原理之前，需要明白它的使用场景和目的。Dataparallel设计用于在多GPU环境下并行处理数据，提高模型训练效率。

       初始化阶段，Dataparallel需要实例化一个模型。这一步中，模型的参数会被复制到所有可用的GPU上，从而实现并行计算。

       在前向传播阶段，Dataparallel的核心作用体现出来。它会将输入数据分割成多个小批次，然后分别发送到各个GPU上。在每个GPU上执行前向传播操作后，结果会被收集并汇总。这样，即便模型在多GPU上运行，输出结果也如同在单GPU上运行一样。

       具体实现中，Dataparallel会利用Python的多重继承和数据并行策略。它继承自nn.Module，同时调用nn.DataParallel的构造函数，从而实现并行计算。

       对于那些需要在GPU间共享的状态或变量，Dataparallel还提供了相应的管理机制，确保数据的一致性和计算的正确性。这样的设计使得模型能够高效地在多GPU环境下运行，同时保持代码的简洁性和易读性。

       总结而言，Dataparallel通过分割数据、并行执行前向传播和收集结果的机制，实现了高效的数据并行训练。理解其源码有助于开发者更好地利用多GPU资源，提升模型训练效率。

PyTorch 源码分析(三）：torch.nn.Norm类算子

       PyTorch源码详解(三)：torch.nn.Norm类算子深入解析

       Norm类算子在PyTorch中扮演着关键角色，它们包括BN（BatchNorm）、LayerNorm和InstanceNorm。

       1. BN/LayerNorm/InstanceNorm详解

       BatchNorm（BN）的核心功能是对每个通道（C通道）的数据进行标准化，确保数据在每个批次后保持一致的尺度。它通过学习得到的gamma和beta参数进行缩放和平移，保持输入和输出形状一致，同时让数据分布更加稳定。

       gamma和beta作为动态调整权重的参数，它们在BN的学习过程中起到至关重要的作用。

       2. Norm算子源码分析

       继承关系：Norm类在PyTorch中具有清晰的继承结构，子类如BatchNorm和InstanceNorm分别继承了其特有的功能。

       BN与InstanceNorm实现：在Python代码中，BatchNorm和InstanceNorm的实例化和计算逻辑都包含对输入数据的2D转换，即将其分割为M*N的矩阵。

       计算过程：在计算过程中，首先计算每个通道的均值和方差，这是这些标准化方法的基础步骤。

       C++侧的源码洞察

       C++实现中，对于BatchNorm和LayerNorm，代码着重于处理数据的标准化操作，同时确保线程安全，通过高效的数据视图和线程视图处理来提高性能。

ONNX一本通：综述&使用&源码分析（持续更新）

       ONNX详解：功能概述、Python API应用与源码解析

       ONNX的核心功能集中在模型定义、算子操作、序列化与反序列化，以及模型验证上。它主要通过onnx-runtime实现运行时支持，包括图优化和平台特定的算子库。模型转换工具如tf、pytorch和mindspore的FMK工具包负责各自框架模型至ONNX的转换。

       ONNX Python API实战

       场景一：构建线性回归模型，基础操作演示了API的使用。

       场景二至四：包括为op添加常量参数、属性以及控制流（尽管控制流在正式模型中应尽量避免）。

       场景五和后续：涉及for循环和自定义算子的添加，如Cos算子，涉及算子定义、添加到算子集、Python实现等步骤。

       源码分析

       onnx.checker：负责模型和元素的检查，cpp代码中实现具体检查逻辑。

       onnx.compose、onnx.defs、onnx.helper等：提供模型构建、算子定义和辅助函数。

       onnx.numpy_helper：处理numpy数组与onnx tensor的转换。

       onnx.reference：提供Python实现的op推理功能。

       onnx.shape_inference：进行模型的形状推断。

       onnx.version_converter：处理不同op_set_version的转换。

       转换实践

       ONNX支持将tf、pytorch和mindspore的模型转换为ONNX格式，同时也有ONNX到TensorRT、MNN和MS-Lite等其他格式的转换选项。

       总结

       ONNX提供了一个统一的IR（中间表示）框架，通过Python API构建模型，支持算子定义的检查和模型的序列化。同时，它利用numpy实现基础算子，便于模型的正确性验证，并支持不同框架模型之间的转换。