1.Kafka源码分析(五) - Server端 - 基于时间轮的源码延时组件
2.搭建源码调试环境—RocketMQ源码分析(一)
3.简直了!通过源码告诉你阿里的分析数据库连接池Druid为啥如此牛逼
4.dayjs源码解析(二):Dayjs 类
5.深入理解 HashSet 及底层源码分析
Kafka源码分析(五) - Server端 - 基于时间轮的延时组件
Kafka内部处理大量的延时操作,例如,源码在接收到PRODUCE请求后,分析副本可以等待一个timeout的源码时间再响应客户端。下面我们来探讨一个问题:为什么Kafka要自己实现一个延时任务组件,分析脚本源码有用而不是源码直接使用Java的java.util.concurrent.DelayQueue呢?我们可以从以下两个方面来分析这个问题。
1.1 DelayQueue的分析能力
DelayQueue相关的接口/类如下所示:
相应地,DelayQueue提供的源码能力如下:
1.2 Kafka的业务场景
Kafka的业务背景具有以下特点:
相应地,Kafka对延时任务组件有以下两点要求:
这两点要求都无法通过直接应用DelayQueue的分析方式得到满足。
二. 组件接口
让我们来看看Kafka的源码延时任务组件对外提供的接口,从而了解其提供的分析能力和使用方式。
如下所示:
左边的源码两个类定义了"延时操作",右边的分析DelayedOperationPurgatory类定义了一个维护DelayOperaton的容器,其核心操作如下:
三. 实现
以下是源码关于"延时"实现方式的介绍。
3.1 业务模型
时间轮延时组件的思路如下:
接下来,通过一个具体的例子来说明这种映射逻辑:
首先关注上图中①号时间轮。圆环中的每一个单元格表示一个TimerTaskList。单元格有其关联的时间跨度;下方的"1s x "表示时间轮上共有个单元格,每个单元格的时间跨度为1秒。有一个指针指向了"当前时间"所对应的单元格。顺时针方向为时间流动方向。
当收到一个延迟时间在0-1s的TimerTask时,会将其追加到①号时间轮的django 源码 admin橙色单元格中。当收到一个延迟时间在3-4s的TimerTask时,会将其追加到①号时间轮的**单元格中。以此类推。
现在有一个问题:①号时间轮能表示的最大延迟时间是秒,那如果收到了延迟秒的任务该怎么办?这时该用到②号时间轮了,我们称②号为①号的"溢出时间轮"。②号时间轮的特点如下:
如此,延迟时间在-s的TimerTask会被追加到②号的紫色单元格,延迟时间在-s的TimerTask会被追加到②号的绿色单元格中。③号时间轮同理。
刚刚是按①->②->③的顺序来分析时间轮的逻辑,反过来也可以得到有用的想象手里有一个"放大镜",其实③号时间轮的蓝色单元格"放大"后是②号时间轮;②号时间轮的蓝色单元格"放大"后是①号时间轮;蓝色单元格并不实际存储TimerTask。
3.2 数据结构
DelayedOperationPurgatory有一个Timer类型的timeoutTimer属性,用于维护延时任务。实际使用的是Timer的实现类:SystemTimer。该类用于维护延时任务的核心属性有两个:delayQueue和timingWheel。TimingWheel表示单个时间轮,接下来我们来看看其类图:
各属性含义如下:
3.3 算法
3.3.1 添加任务
添加任务的入口是DelayedOperationPurgatory.tryCompleteElseWatch,其核心逻辑分为如下两步:
SystemTimer.add直接调用了addTimerTaskEntry方法,后者逻辑如下:
TimingWheel.add的逻辑也很清晰,分如下4种场景处理:
3.3.2 尝试提前触发任务
入口是DelayedOperationPurgatory.checkAndComplete:
接下来看Watchers.tryCompleteWatched方法的内容:
DelayedOperation.maybeTryComplete方法最终调用了DelayedOperation.tryComplete;
DelayedOperation的子类需要在后者中实现自己的"触发条件"检查逻辑;若满足了提前触发的条件,则调用forceComplete方法执行事件触发场景下的mfl指标源码业务逻辑。
3.3.3 任务到期自动执行
DelayedOperationPurgatory中维护了一个expirationReaper线程,其职责就是循环调用kafka.utils.timer.SystemTimer#advanceClock来从时间轮中获取已超时的任务,并更新时间轮的"当前时间"指针。
四. 总结
才疏学浅,未能窥其十之一二,随时欢迎各位交流补充。若文章质量还算及格,可以点赞收藏加以鼓励,后续我继续更新。
另外,也可以在目录中找到同系列的其他文章:
感谢阅读。
搭建源码调试环境—RocketMQ源码分析(一)
搭建源码调试环境,深入分析 RocketMQ 的内部运行机制。理解 RocketMQ 的目录结构是搭建调试环境的第一步,有助于我们快速定位代码功能和问题。 目录结构主要包括: acl:权限控制模块,用于指定话题权限,确保只有拥有权限的消费者可以进行消费。 broker:RocketMQ 的核心组件,负责接收客户端发送的消息、存储消息并传递给消费端。 client:包含 Producer、Consumer 的玖伍系统源码代码,用于消息的生产和消费。 common:公共模块,提供基础功能和服务。 distribution:部署 RocketMQ 的工具,包含 bin、conf 等目录。 example:提供 RocketMQ 的示例代码。 filter:消息过滤器。 namesvr:NameServer,所有 Broker 的注册中心。 remoting:远程网络通信模块。 srvutil:工具类。 store:消息的存储机制。 style:代码检查工具。 tools:命令行监控工具。 获取 RocketMQ 源码:从 Github 下载最新版本或选择其他版本。遇到下载困难时,可留言或私信寻求帮助。 导入源码到 IDE 中,确保 Maven 目录正确,刷新并等待依赖下载完成。 启动 RocketMQ 的 NameServer 和 Broker,配置相关参数,ddos源码次数如环境变量、配置文件等。确保正确启动后,通过查看启动日志检查运行状态。 进行消息生产与消费测试,使用源码自带的示例代码进行操作。设置 NameServer 地址后,启动 Producer 和 Consumer,验证消息成功发送与消费。 使用 RocketMQ Dashboard 监控 RocketMQ 运行情况,持续优化和调试。简直了!通过源码告诉你阿里的数据库连接池Druid为啥如此牛逼
druid数据库连接池的强大之处在于其高效管理和丰富的功能。它通过复用连接减少资源消耗,具备连接数控制、可靠性测试、泄漏控制和缓存语句等标准特性,同时还扩展了监控统计和SQL注入防御等功能。
以入门需求为例,创建Maven项目,引入必要的依赖如JDK、maven、IDE,以及mysql-connector-java和druid。在项目中,通过JDBCUtil初始化连接池并获取连接,进行简单的增删改查操作。在web应用中,可以使用JNDI获取DruidDataSource,如在tomcat 9.0.容器下运行。
druid的监控统计功能强大,如StatFilter支持合并SQL、慢SQL记录和多个数据源监控数据的统一。StatViewServlet用于展示监控信息,配置WebStatFilter则能收集web-jdbc关联监控数据。同时,WallFilter用于防御SQL注入,提供定制化的参数配置选项。
druid的源码分析显示,它在连接池管理、配置方式的灵活性以及异常处理等方面展现出独特之处。尽管配置方式多样,但推荐优先使用最常见的方式,如properties文件。然而,过多的配置选项和缺乏统一的管理方式是其设计上的一个挑战。
总而言之,druid凭借其强大的功能和灵活的配置,为数据库连接池管理提供了高效且实用的解决方案,是阿里巴巴数据库连接池中的佼佼者。
dayjs源码解析(二):Dayjs 类
上篇文章讲述了dayjs的基础知识、locale、constant和utils,本文将继续深入解析dayjs的核心部分——src/index.js中的Dayjs类。
src/index.js文件结构清晰,按照以下步骤构建:
然而,这里存在两个疑问,可能是为了缩减代码体积,由@iamkun提出。
现在开始正式分析代码。
locale相关全局定义
首先默认导入了locale/en.js英文的locale,然后使用L存储当前使用的locale名字,使用Ls(locale Storage)存储locale对象。
工具补充
定义了一个工具方法parseLocale。这个方法处理以下几种情况:
然后将定义好的parseLocale方法补充到Utils中。
相关方法
在Dayjs类中,关于locale的方法有两个,实例私有方法$locale用来返回当前使用的locale对象;实例方法locale本质上就是调用了parseLocale方法,但最后返回的是新的改变了locale的Dayjs实例。
注意:在dayjs中,许多操作都使用clone()方法来返回新的Dayjs实例,这也是这个库的优点之一。
最后同样将parseLocale方法补充到Dayjs类的静态方法中。
补充Utils
上一节和前文中已经分析了一些Util工具,这里将其补充完整:
注意:这些工具方法没有统一定义在utils.js文件中的原因是用到了index.js作用域中的一些变量。
需要特别关注的是wrapper方法,在Dayjs类中大量应用了该方法,其实是通过date和原实例封装了一个新实例,新实例和原实例的主要区别就是关联的时间不同。
Dayjs类
Dayjs类是整个dayjs库的核心,可以给其定义的实例方法分类,也可以查看官网的文档分类。
解析都写在了代码的注释里:
原型链
通常来说,定义在实例中的方法应该在原型链上,但有几个与时间有关的setter/getter方法相似,所以单独将原型链写在了上面。
这几个方法都是不传参数时为getter,传参数时为setter。
静态属性
还有一些方法和属性挂在了dayjs函数对象上,最核心的是加载插件和加载locale的方法,几个方法的用法都能在官方文档中找到。
如果对dayjs函数对象、Dayjs类和原型的关系感到困惑,可以参考下图,最后形成的关系如下图所示:
总结
如果不看插件部分,dayjs库的核心已经解析完成,看一下默认生成dayjs实例长什么样子:
实例本身的属性是一些与时间相关的属性,各种操作方法都在原型__proto__上。
本节结束,下一节将开始解析dayjs的插件。
深入理解 HashSet 及底层源码分析
HashSet,作为Java.util包中的核心类,其本质是基于HashMap的实现,主要特性是存储不重复的对象。通过理解HashMap,学习HashSet相对简单。本文将对HashSet的底层结构和重要方法进行剖析。1. HashSet简介
HashSet是Set接口的一个实现,经常出现在面试中。它的核心是HashMap,通过构造函数可以观察到这一关系。Set接口还有另一个实现——TreeSet,但HashSet更常用。2. 底层结构与特性
HashSet的特性主要体现在其不允许重复元素和无序性上。由于HashMap的key不可重复,所以HashSet的元素也是独一无二的。同时,由于HashMap的key存储方式,HashSet内部的数据没有特定的顺序。3. 重要方法分析
构造方法: HashSet利用HashMap的构造,确保元素的唯一性。
添加方法: 添加元素时,实际上是将元素作为HashMap的key,删除时若返回true,则表示之前存在该元素。
删除方法: 删除操作在HashMap中完成,返回值表示元素是否存在。
iterator()方法: 通过获取Map的keySet来实现迭代。
size()方法: 直接调用HashMap的size方法获取元素数量。
总结
HashSet的底层源码精简,主要依赖HashMap。它通过HashMap的特性确保元素的唯一性和无序性。了解了这些,对于使用和理解HashSet将大有裨益。如有疑问,欢迎留言交流。