1.【STL源码剖析】总结笔记(2):容器(containers)概览
2.手撕Nacos源码剖析,源码建议收藏
3.Redis源码剖析之数据过期(expire)
4.Pytorch源码剖析:nn.Module功能介绍及实现原理
5.UE4源码剖析——异步与并行 中篇 之 Thread
【STL源码剖析】总结笔记(2):容器(containers)概览
容器作为STL的剖析重要组成部分,其使用极大地提升了解决问题的学习效率。深入研究容器内部结构与实现方式,源码对提升编程技能至关重要。剖析本文将对容器进行概览,学习reboot命令 源码分为序列式容器、源码关联式容器与无序容器三大类。剖析
容器大致分为序列式容器、学习关联式容器和无序容器。源码其中序列式容器侧重于顺序存储,剖析关联式容器则强调元素间的学习键值关系,而无序容器可以看作关联式容器的源码一种。
容器之间的剖析关系可以归纳为:序列式容器为基层,关联式容器则在基层基础上构建了更复杂的学习数据结构。例如,heap和priority容器以vector作为底层支持,而set和map则采用红黑树作为基础数据结构。此外,还存在一些非标准容器,如slist和以hash开头的容器。在C++ 中,slist更名为了forward-list,而hash开头的容器改名为了unordered开头。
在容器的实现中,sizeof()函数可能揭示容器的内部大小对比。需要注意的是,尽管在GNU 4.9版本中,源码 会员一些容器的设计变得复杂,采用了较多的继承结构,但实际上,这些设计在功能上并未带来太大差异。
熟悉容器的结构后,我们可以从vector入手,探索其内部实现细节。其他容器同样蕴含丰富的学习内容,如在list中,迭代器(iterators)的设计体现了编程的精妙之处;而在set和map中,红黑树的实现展现了数据结构的高效管理。
本文对容器进行了概览,旨在提供一个全面的视角,后续将对vector、list、set、map等容器进行详细分析,揭示其背后的实现机制与设计原理。
手撕Nacos源码剖析,建议收藏
Nacos源码剖析 深入学习Nacos,解析源码,重点关注以下两点: 源码环境搭建从官方项目克隆Nacos源码,检出1.4.1版本,导入IDEA。
在本地MySQL中创建nacos-config数据库,执行resources/META-INF/nacos-db.sql脚本创建表。
修改console模块下的源码合唱application.properties文件,配置相关参数。
启动console模块的启动类,非集群模式启动Nacos服务端。
访问本地Nacos服务:http://localhost:/nacos。
Nacos客户端功能 Nacos客户端集成在应用服务内,通过依赖引入实现服务注册、发现、下线及订阅功能。客户端核心功能包括服务注册、服务发现、服务下线与服务订阅。
客户端与服务端交互,主要聚焦服务注册、服务下线、服务发现与服务订阅。
服务注册注册服务时,客户端执行定时任务设置心跳监测,同时向服务端注册服务。
服务注册中,远程请求通过NacosRestTemplate封装,调用callServer()执行。
服务发现通过NamingService.getAllInstances()方法实现服务发现。
获取服务信息首先从缓存查找,若无数据,则向Nacos服务端请求更新。
服务下线服务下线操作简化,主要取消心跳检测与服务下线接口请求。pache源码
服务订阅客户端创建线程池,封装监听器,监听指定服务实例信息变化。
通过NamingService.subscribe()方法实现服务订阅,注册监听器,接收实例信息更新。
Redis源码剖析之数据过期(expire)
通过对线上数据访问时间分布的统计发现,大部分请求只访问最新分钟或1小时的数据,极少访问超过1天的数据。这使得我们在存储数据时可以优化过期时间,例如将过期时间从2天缩短到1天,从而节省大量 Redis 实例资源,节省内存使用量和成本。
Redis 自动清理过期数据的机制可以有效节省资源,而没有自动过期机制时,实现数据清理将非常复杂。自动过期功能不仅简化了操作,还能节省成本,体现了其在缓存系统中的重要性。
Redis 在处理请求时,会检查 key 是否过期。在 dictEntry 结构中存储了上次更新时间戳,通过比较当前时间与更新时间戳之间的差值与设定的过期时间,判断 key 是否过期。
Redis 提供了懒惰删除功能,即在开启配置项后,会异步处理数据删除任务,NetSetMan源码防止阻塞主线程。然而,实际实现并非完全异步,而是结合了同步和异步机制,以优化性能。
为了解决数据写入后长时间无访问导致的资源占用问题,Redis 实现了定期抽样删除策略。通过单线程执行的核心流程,Redis 无法长时间暂停执行其他工作,因此定期清理时仅做少量操作,以避免长时间阻塞。
Redis 数据过期策略简单,但需考虑性能影响。配置过期时间应根据业务需求和数据特性调整,以实现最佳性能和资源利用。
本文深入探讨了 Redis 过期数据的实现,包括实时清理、惰性删除和定期抽样删除策略。同时提供了 Redis 中文注释版和源码剖析专栏链接,欢迎关注和学习。如有帮助,欢迎一键三连支持。
Pytorch源码剖析:nn.Module功能介绍及实现原理
nn.Module作为Pytorch的核心类,是构建模型的基础。它提供了一系列功能,包括记录模型的参数,实现网络的前向传播,加载和保存模型数据,以及进行设备和数据类型转换等。这些功能在模型的训练和应用中起到关键作用。
在训练与评估模式间切换,模块的行为会有所不同,如rrelu、dropout、batchnorm等操作在两种模式下表现不同。可学习的参数,如权重和偏置,需要通过梯度下降进行更新。非学习参数,比如batchnorm的running_mean,是训练过程中的统计结果。_buffers包含的Tensor不作为模型的一部分保存。
模块内部包含一系列钩子(hook)函数,用于在特定的前向传播或反向传播阶段执行自定义操作。子模块列表用于存储模型中的所有子模块。
魔术函数__init__在声明对象时自动调用,优化性能的关键在于使用super().__setattr__而非直接赋值。super调用父类的方法,避免不必要的检查,提高效率。使用register_buffer为模块注册可变的中间结果,例如BatchNorm的running_mean。register_parameter用于注册需要梯度下降更新的参数。
递归应用函数用于对模型进行操作,如参数初始化。可以将模型移动到指定设备,转换数据类型,以及注册钩子函数以实现对网络的扩展和修改。
调用魔术方法__call__执行前向传播。nn.Module未实现forward函数,子类需要提供此方法的具体实现。对于线性层等,forward函数定义了特定的运算流程。从检查点加载参数时,模块自动处理兼容性问题,确保模型结构与参数值的兼容。
模块的__setattr__方法被重写,以区别对待Parameter、Module和Buffer。当尝试设置这些特定类型的属性时,执行注册或更新操作。其他属性的设置遵循标准的Python行为。
模块的save方法用于保存模型参数和状态,确保模型结构和参数值在不同设备间转移时的一致性。改变训练状态(如将模型切换到训练或评估模式)是模块管理过程的重要组成部分。
UE4源码剖析——异步与并行 中篇 之 Thread
我们知道UE中的异步框架分为TaskGraph与Thread两种,上篇教程我们学习了TaskGraph,它擅长处理有依赖关系的短任务;本篇教程我们将学习Thread,它与TaskGraph相反,它更擅长于处理长任务。而下一篇文章,我们则会承接Thread,去学习一下引擎中一些重要的线程。
Thread擅长处理长任务,从长任务生命周期这个层面来看,我们可以先把长任务分为两类:常驻型长任务与非常驻型长任务。
常驻型长任务侧重于并行,通常用于监听式服务,例如网络传输,使用单独的线程对网络进行监听,每当有网络数据包到达时,线程接收并处理后,不会立即结束,而是重置部分状态,继续监听,等待下一轮数据包。
非常驻型长任务侧重于异步,通常用于数据处理,例如主线程为了提高性能,避免卡顿,会将一些重负载的运算任务分发给分线程处理,可能分批给多条分线程,主线程继续运行其他逻辑。任务处理完成后,将结果返回给主线程,分线程可销毁。
接下来,我们通过两个例子学习Thread的使用。
计算由N到M(N和M为大数字)所有数字的和。使用Thread异步调用,将计算操作交由分线程执行,计算完成后再通知主线程结果,代码实现如下:
逻辑分为两部分:启动分线程计算数字和,使用Async函数,参数为EAsyncExecution::Thread,创建新线程执行。学习Async函数用法,该函数返回TFuture对象,代表未来状态,当前无法获取结果,但在未来某个时刻状态变为Ready,此时可通过TFuture获取结果。
主线程注册回调,等待分线程计算完成,使用TFuture的Then函数,完成时触发注册的回调,也可使用Wait系列函数等待计算完成。
接下来学习常驻型任务使用。
定义玩家血量上限点,当前点,当血量未满时,每0.2秒恢复1点血量。代码实现分为创建生命治疗仪FRunnable对象、重写Run函数、创建FRunnableThread线程、测试恢复功能和释放线程资源。
生命治疗仪创建与测试完整代码如下,可验证生命恢复功能和暂停与恢复。
UE4中的FRunnable与FRunnableThread提供创建常驻型任务所需接口。无论是常驻型还是非常驻型,底层实现相同,都是使用FRunnableThread线程。
FRunnableThread线程结构包含标识符、逻辑功能、效率与性能、辅助调试字段。线程创建与生命周期分为创建FRunnable类对象、创建FRunnableThread对象两步,通过FRunnable的生命周期管理实现线程运行与停止。
UE4线程管理流程包括继承并创建FRunnable类对象、创建FRunnableThread对象,生命治疗仪线程创建代码。
UE4中的几种异步方式底层使用线程实现,学习了线程类型、创建、生命周期、销毁方法,为下篇学习引擎特殊线程打下基础。