皮皮网

1.[深入分析CUTLASS系列] 0x02 cutlass 源码分析(一) --- block swizzle 和 tile iterator (附tvm等价code)
2.TiFlash 源码阅读（一） TiFlash 存储层概览
3.linux源码解读（三十二）：dpdk原理概述（一）
4.apsheduler miss的原因

[深入分析CUTLASS系列] 0x02 cutlass 源码分析(一) --- block swizzle 和 tile iterator (附tvm等价code)

       深入探讨CUTLASS系列之block swizzle和tile iterator

       本文聚焦于block swizzle和tile iterator在CUTLASS中的皮肤皮肤作用。

       block swizzle通过一定的源码步长进行换行操作，其核心逻辑为取余操作。专属关注的皮肤皮肤关键文件包括cutlass/gemm/threadblock/threadblock_swizzle.h和cutlass/gemm/kernel/gemm.h。在GPU中，源码block的专属获取bduss源码发射顺序为x->y->z，通过位运算实现取余操作，皮肤皮肤相比直接取余，源码位运算在开销上更小。专属

       block swizzle的皮肤皮肤逻辑分析展示了其在计算过程中的作用，以一个 x x的源码矩阵乘法为例，不进行block swizzle时，专属线程块按照n和m轴发射，皮肤皮肤导致在读取右矩阵的源码global位置时存在差异，从而影响访存量。专属进行block swizzle后，橡子星座源码单个tile的访存量变小，减少cache miss，提高性能。

       tvm等价代码示例展示了block swizzle的实现方式，简洁明了。

       tile iterator解决的问题在于提供左右矩阵的load/store方法。以conv2d的iterator为例，分析了如何在focus于某一分块时确定每个线程需要被load的位置。重点关注的文件包括cutlass/conv/threadblock/conv2d_fprop_activation_tile_access_iterator_analytic.h、cutlass/conv/threadblock/conv2d_fprop_activation_tile_access_iterator_optimized.h和cutlass/conv/threadblock/conv2d_tile_iterator.h。分析了shared memory的load过程，以及在不同iterator中的优化方法。

       tile iterator的逻辑分析详细介绍了shared memory的load过程，包括warp的划分、最大访存指令的uniapp发卡源码限制和kStride参数。进一步讨论了analytic和optimized iterator的实现差异，以及如何通过位运算减少scalar操作，提高性能。

       本文总结了block swizzle和tile iterator在CUTLASS中的作用和优化方法，提供了深入理解的途径。希望对相关领域感兴趣的研究者和开发者有所启发。

TiFlash 源码阅读（一） TiFlash 存储层概览

       本系列文章聚焦于 TiFlash，读者需具备基本的 TiDB 知识。TiFlash 是 TiDB HTAP 模式的关键组件，作为 TiKV 的列存扩展，通过 Raft Learner 协议实现异步复制，并提供与 TiKV 相同的快照隔离支持。自 5.0 引入 MPP 后，TiDB 的实时分析场景下计算加速能力得到了增强。

       TiFlash 整体逻辑模块划分如下：通过 Raft Learner Proxy 接入多 Raft 体系，论文源码标准计算层 MPP 在 TiFlash 间进行数据交换，提供更强的分析计算能力。Schema 模块与 TiDB 表结构同步，将 TiKV 同步数据转换为列形式，并写入列存引擎。底层为 DeltaTree 引擎。

       TiFlash 基于 ClickHouse fork，沿用了 ClickHouse 的向量化执行引擎，并加入针对 TiDB 的对接、MySQL 兼容、Raft 协议、集群模式、实时更新列存引擎、MPP 架构等特性。DeltaTree 引擎解决了高频率数据写入、接单后台源码实时更新读性能优化、符合 TiDB 事务模型、支持 MVCC 过滤、数据分片便于分析场景等需求。

       DeltaTree 引擎不同于 MergeTree，具备原生支持高频率写入、列存实时更新下读性能优化、支持 TiDB 事务模型、数据分片便于提供分析特性等优势。MergeTree 引擎存在写入碎片、Scan 时 CPU cache miss 严重、清理过期数据时 compaction 导致性能波动等问题，而 DeltaTree 通过横向分割数据管理、delta-stable 数据组织、PageStorage 存储等设计优化了性能。

       DeltaTree 引擎通过在表内按 handle 列分段管理数据，采用 delta-stable 数据组织，PageStorage 存储小数据块，构建 DeltaIndex 和 Rough Set Index 等组件优化读性能。DeltaIndex 帮助减少 CPU bound 的 merge 操作，Rough Set Index 用于过滤数据块，减少不必要的 IO 操作。

       TiFlash 存储层 DeltaTree 引擎在不同数据量和更新 TPS 下读性能表现优于基于 MergeTree 的实现，提供更稳定、高效的读、写性能。TiFlash 中的 PageStorage、DeltaIndex、Rough Set Index 等组件协同作用，优化数据管理和查询性能。

       DeltaTree 引擎在 TiFlash 内部实现中，通过 PageStorage 存储数据，DeltaIndex 提高读性能，Rough Set Index 优化查询效率，提供了对 HTAP 场景的优化和支持。TiFlash 存储层 DeltaTree 引擎的设计和实现细节将在后续章节中详细展开。

linux源码解读（三十二）：dpdk原理概述（一）

       Linux源码解析（三十二）：深入理解DPDK原理（一）

       几十年来，随着技术的发展，传统操作系统和网络架构在处理某些业务需求时已显得力不从心。为降低修改底层操作系统的高昂成本，人们开始在应用层寻求解决方案，如协程和QUIC等。然而，一个主要问题在于基于内核的网络数据IO，其繁琐的处理流程引发了效率低下和性能损耗。

       传统网络开发中，数据收发依赖于内核的receive和send函数，经过一系列步骤：网卡接收数据、硬件中断通知、数据复制到内存、内核线程处理、协议栈层层剥开，最终传递给应用层。这种长链式处理方式带来了一系列问题，如上下文切换和协议栈开销。

       为打破这种限制，Linux引入了UIO（用户空间接口设备）机制，允许用户空间直接控制网卡，跳过内核协议栈，从而大大简化了数据处理流程。UIO设备提供文件接口，通过mmap映射内存，允许用户直接操作设备数据，实现绕过内核控制网络I/O的设想。

       DPDK（Data Plane Development Kit）正是利用了UIO的优点，如Huge Page大页技术减少TLB miss，内存池优化内存管理，Ring无锁环设计提高并发性能，以及PMD poll-mode驱动避免中断带来的开销。它采用轮询而非中断处理模式，实现零拷贝、低系统调用、减少上下文切换等优势。

       DPDK还注重内存分配和CPU亲和性，通过NUMA内存优化减少跨节点访问，提高性能，并利用CPU亲和性避免缓存失效，提升执行效率。学习DPDK，可以深入理解高性能网络编程和虚拟化领域的技术，更多资源可通过相关学习群获取。

       深入了解DPDK原理，可以从一系列资源开始，如腾讯云博客、CSDN博客、B站视频和LWN文章，以及Chowdera的DPDK示例和腾讯云的DPDK内存池讲解。

       源：cnblogs.com/thesevenths...

apsheduler miss的原因

可以通过追踪源码，进行调试在执行器中没有发现问题，在调度器中发现每次调度器创建任务发现调度逻辑，由于在自己的调度代码中添加了 （用于超时协程任务时间），他们两个造成冲突，导致任务执行到程序2时没有返回等待时间，在最后执行器任务执行完之后才返回，所以导致第二次任务别错过

       APScheduler是一个小巧而强大的Python类库，通过它你可以实现类似Unix系统cronjob类似的定时任务系统。使用之余，阅读一下源码，一方面有助于更好的使用它，另一方面，个人认为aps的架构设计质量很高，阅读它对于提升软件开发的sense很有帮助。