1. 【gradle源码系列3】Project用法示例方法总结源码分析
2.如何实现定时任务- Java Timer/TimerTask 源码解析
3.Linux内核源码分析:Linux进程描述符task_ struct结构体详解
4.Timer & TimerTask 源码分析
5.剖析linux内核源码,源码task_struct结构体详解
6.对于 C# 中 Task 的源码 StartNew 与 WhenAll 相互配合的实验
【gradle源码系列3】Project用法示例方法总结源码分析
在Gradle构建系统中,Project接口是源码核心,负责从构建文件中交互并提供访问Gradle所有功能的源码途径。通过Project对象,源码开发者能执行诸如任务管理、源码github wiki 源码依赖关系处理、源码配置管理等关键构建任务。源码
构建启动时,源码每个参与的源码项目都会生成一个Project对象。项目内部本质上是源码一系列Task对象的集合,每个Task执行特定工作,源码如编译代码、源码运行测试或打包文件。源码创建和定位Task主要通过TaskContainer进行,源码通过方法如create()和getByName()来完成。
项目依赖于多个组件以完成任务,同时也生成多种构件供其他项目使用。依赖项组织成配置,从存储库中获取并上传。配置管理、依赖项处理、构件管理和存储库管理分别通过特定方法如getConfigurations()、getDependencies()、getArtifacts()和getRepositories()实现。
项目构建结构化,以项目层次方式排列。每个项目具有唯一标识的名称和完整路径。插件提供了模块化和重用配置的功能,通过apply方法或PluginDependenciesSpec脚本块应用。
项目属性通过构建文件动态配置。脚本中使用的所有属性或方法,最终委托给关联的Project对象。这意味着脚本可以直接访问Project接口的方法和属性。
额外属性需在"ext"命名空间下定义。一旦定义,该属性立即在所属对象(如Project、Task和子项目)上可用,支持读取和更新。
项目方法作用域广泛,支持在不同层面搜索和调用方法。图色辅助源码以上示例展示了如何使用Project类的常见方法,包括设置项目属性、配置依赖、创建任务、获取子项目等。
如何实现定时任务- Java Timer/TimerTask 源码解析
日常实现各种服务端系统时,我们一定会有一些定时任务的需求。比如会议提前半小时自动提醒,异步任务定时/周期执行等。那么如何去实现这样的一个定时任务系统呢? Java JDK提供的Timer类就是一个很好的工具,通过简单的API调用,我们就可以实现定时任务。
现在就来看一下java.util.Timer是如何实现这样的定时功能的。
首先,我们来看一下一个使用demo
基本的使用方法:
加入任务的API如下:
可以看到API方法内部都是调用sched方法,其中time参数下一次任务执行时间点,是通过计算得到。period参数为0的话则表示为一次性任务。
那么我们来看一下Timer内部是如何实现调度的。
内部结构
先看一下Timer的组成部分:
Timer有3个重要的模块,分别是 TimerTask, TaskQueue, TimerThread
那么,在加入任务之后,整个Timer是怎么样运行的呢?可以看下面的示意图:
图中所示是简化的逻辑,多个任务加入到TaskQueue中,会自动排序,队首任务一定是当前执行时间最早的任务。TimerThread会有一个一直执行的循环,从TaskQueue取队首任务,判断当前时间是否已经到了任务执行时间点,如果是则执行任务。
工作线程
流程中加了一些锁,用来避免同时加入TimerTask的并发问题。可以看到sched方法的逻辑比较简单,task赋值之后入队,队列会自动按照nextExecutionTime排序(升序,排序的实现原理后面会提到)。
从mainLoop的源码中可以看出,基本的流程如下所示
当发现是周期任务时,会计算下一次任务执行的时间,这个时候有两种计算方式,源码是什么文档即前面API中的
优先队列
当从队列中移除任务,或者是修改任务执行时间之后,队列会自动排序。始终保持执行时间最早的任务在队首。 那么这是如何实现的呢?
看一下TaskQueue的源码就清楚了
可以看到其实TaskQueue内部就是基于数组实现了一个最小堆 (balanced binary heap), 堆中元素根据 执行时间nextExecutionTime排序,执行时间最早的任务始终会排在堆顶。这样工作线程每次检查的任务就是当前最早需要执行的任务。堆的初始大小为,有简单的倍增扩容机制。
TimerTask 任务有四种状态:
Timer 还提供了cancel和purge方法
常见应用
Java的Timer广泛被用于实现异步任务系统,在一些开源项目中也很常见, 例如消息队列RocketMQ的 延时消息/消费重试 中的异步逻辑。
上面这段代码是RocketMQ的延时消息投递任务 ScheduleMessageService 的核心逻辑,就是使用了Timer实现的异步定时任务。
不管是实现简单的异步逻辑,还是构建复杂的任务系统,Java的Timer确实是一个方便实用,而且又稳定的工具类。从Timer的实现原理,我们也可以窥见定时系统的一个基础实现:线程循环 + 优先队列。这对于我们自己去设计相关的系统,也会有一定的启发。
Linux内核源码分析:Linux进程描述符task_ struct结构体详解
Linux内核通过一个task_struct结构体来管理进程,这个结构体包含了一个进程所需的所有信息。它定义在include/linux/sched.h文件中,包含许多字段,其中state字段表示进程的当前状态。常见的状态包括运行、阻塞、等待信号、终止等。进程状态的切换和原因可通过内核函数进行操作。PID是系统用来唯一标识正在运行的每个进程的数字标识,tgid成员表示线程组中所有线程共享的PID。进程内核栈用于保存进程在内核态执行时的临时数据和上下文信息,通常为几千字节。内核将thread_info结构与内核态线程堆栈结合在一起,占据连续的两个页框,以便于访问线程描述符和栈。获取当前运行进程的kdj-金 源码thread_info可通过esp栈指针实现。thread_info结构包含task字段,指向进程控制块(task_struct)。task_struct结构体的flags字段用于记录进程标记或状态信息,如创建、超级用户、核心转储、信号处理、退出等。而real_parent和parent成员表示进程的亲属关系,用于查找和处理进程树中的亲属关系。
Timer & TimerTask 源码分析
尽管 Timer 已经在现代 Java 开发中鲜少使用,但其内部结构对理解和实现自动化流程有着重要参考价值。这篇源码分析着重于 Timer 和 TimerTask 的工作原理,它们通过维护一个 TaskQueue,确保任务按照预设时间执行,其中的并发处理策略对初学者极具启发性。
在 Timer 类中,每个 Timer 实例对应一个单独的线程,这可能导致任务执行顺序受阻。Timer 的生命周期不确定,任务完成后可能不会立即回收,而 ScheduledThreadPoolExecutor 是推荐的替代方案。Timer 是线程安全的,但不保证任务执行的实时性,而是依赖于 wait() 等待机制。TaskQueue 是 TimerThread 的核心,它负责调度任务的执行。
TimerThread 是负责执行任务的线程,继承自 Thread,其简洁的实现表明了其功能的专注。Timer 的构造器和 schedule 方法提供多种重载形式,而 sched 方法是它们的最终调用者。TimerTask 是一个抽象类,实现了 Runnable,用户需创建其子类并覆盖 run 方法,定义了任务的状态标识和执行时间属性。
尽管 Timer 已经过时,但理解其内部机制有助于在需要定时任务的场景中找到更高效、可靠的解决方案。
剖析linux内核源码,比翼双飞源码task_struct结构体详解
在Linux内核中,进程与线程的统一数据结构是task_struct,它作为进程存在的唯一实体,通过双向循环链表连接所有task_struct。每个任务拥有唯一标识pid和线程组IDtgid,其中group_leader指向进程主线程。有了tgid,我们可以区分task_struct代表进程还是线程。
Linux kernel通过成员变量表示进程的亲缘关系,包括进程状态和权限控制。进程权限涉及进程访问文件、访问其他进程及执行操作的能力。操作权限由cred和real_cred成员表示,描述了当前进程和试图操作的进程之间的权限关系。
进程运行统计信息记录了用户态和内核态上消耗的时间以及上下文切换次数,反映了进程的运行情况。信号处理包括被阻塞、等待处理和正在处理的信号,信号处理函数可以忽略或结束进程,处理栈用于信号处理。
进程的虚拟地址空间分为用户虚拟地址空间和内核虚拟地址空间,每个进程有独立的用户虚拟地址空间,内核线程无用户地址空间。进程拥有文件系统数据结构和打开文件数据结构,涉及Linux文件系统操作。
每个task都有内核栈,用于在调用系统调用时从用户态切换到内核态。内核栈包含thread_info和pt_regs数据结构,其中thread_info由体系结构定义,pt_regs用于保存系统调用时的CPU上下文。在系统调用返回时,可以从进程的原来位置继续运行。
综上所述,task_struct结构体在Linux内核中扮演着关键角色,它管理着进程和线程的生命周期,从状态管理、权限控制、运行统计、信号处理到内存管理与文件系统交互,以及系统调用的上下文切换,都是通过task_struct的成员变量和结构体实现的。这些特性使得Linux内核能够高效、灵活地管理多任务环境。
对于 C# 中 Task 的 StartNew 与 WhenAll 相互配合的实验
独立观察员 年 3 月 日
在编写代码时,我发现需要等待几个任务执行完毕。我使用了 Task.Factory.StartNew 的形式启动任务,因为它适合处理耗时较长的任务,避免它们影响其他任务执行。接着,我使用了 Task.WhenAll 来等待这些任务全部完成。
在网上查找时,我注意到关于 Task 使用 WhenAll 和 WaitAll 的一些注意事项。其中提到,使用 WhenAll 必须添加超时时间,防止无限等待,而且等待的 Task 必须是启动的。
关于为什么 Task.Factory.StartNew 而不是 Task.Run,因为后者自动执行 Unwrap 操作,而 Task.Factory.StartNew 则不会。因此,在使用 Task.Factory.StartNew 时,需要添加 Unwrap 方法。我尝试了不同情况,并发现使用 StartNew 和 Task.Run 时,无论内部是同步还是异步方法,配合 Task.WhenAll 都能正常工作。但在使用 StartNew 并启动异步方法时,若不添加 Unwrap,Task.WhenAll 将无法等待所有任务完成。
实验结果显示,当使用 StartNew 并添加 Unwrap 方法时,所有情况都达到预期效果。而 Task.Run 组不需要额外添加 Unwrap 方法,因为其内部方法已被自动解包。
总结来说,单纯使用 Task.Factory.StartNew 或 Task.Run 都可以配合 Task.WhenAll 达到目的。但在使用 StartNew 并启动异步方法时,需要添加 Unwrap 方法以确保所有任务等待的正确性。
在实际应用中,我发现 Task.CurrentId 在异步方法中无法获取值,而 Thread.CurrentThread.ManagedThreadId 则能稳定使用。此外,我还提供了一个测试程序源码和一个 WPF 类库的 NuGet 包,供读者参考和使用。
python协程(4):asyncio
asyncio是官方提供的协程的类库,从python3.4开始支持该模块async & awiat是python3.5中引入的关键字,使用async关键字可以将一个函数定义为协程函数,使用awiat关键字可以在遇到IO的时候挂起当前协程(也就是任务),去执行其他协程。
await + 可等待的对象(协程对象、Future对象、Task对象 -> IO等待)
注意:在python3.4中是通过asyncio装饰器定义协程,在python3.8中已经移除了asyncio装饰器。
事件循环,可以把他当做是一个while循环,这个while循环在周期性的运行并执行一些协程(任务),在特定条件下终止循环。
loop = asyncio.get_event_loop():生成一个事件循环
loop.run_until_complete(任务):将任务放到事件循环
Tasks用于并发调度协程,通过asyncio.create_task(协程对象)的方式创建Task对象,这样可以让协程加入事件循环中等待被调度执行。除了使用 asyncio.create_task() 函数以外,还可以用低层级的 loop.create_task() 或 ensure_future() 函数。不建议手动实例化 Task 对象。
本质上是将协程对象封装成task对象,并将协程立即加入事件循环,同时追踪协程的状态。
注意:asyncio.create_task() 函数在 Python 3.7 中被加入。在 Python 3.7 之前,可以改用 asyncio.ensure_future() 函数。
下面结合async & awiat、事件循环和Task看一个示例
示例一:
*注意:python 3.7以后增加了asyncio.run(协程对象),效果等同于loop = asyncio.get_event_loop(),loop.run_until_complete(协程对象)
*示例二:
注意:asyncio.wait 源码内部会对列表中的每个协程执行ensure_future从而封装为Task对象,所以在和wait配合使用时task_list的值为[func(),func()] 也是可以的。
示例三:
Nacos源码之配置管理 三TaskManager 任务管理的使用
在Nacos的源码中,TaskManager是一个核心组件,它负责管理一系列必须成功执行的任务,以单线程的方式确保任务的执行。TaskManager内部包含待处理的AbstractTask集合和对应的TaskProcessor,后者是执行任务的接口,不同的任务类型需实现自己的执行逻辑。以配置中心的配置文件Dump为例,Nacos会定期将数据库中的数据备份到磁盘,这个操作通过定义的DumpTask和其对应的DumpProcessor来实现。
DumpTask定义了必要的属性,而DumpProcessor则是专门处理DumpTask的任务处理器,其核心功能是将配置文件保存到磁盘并计算MD5。类似地,DumpAllTask和DumpAllBetaTask也有对应的处理器,如DumpAllProcessor和DumpAllBetaProcessor。
DumpAllTask的任务触发和执行发生在DumpService类中,该服务负责初始化配置信息的备份。在初始化时,会创建一个DumpAllProcessor执行器,并启动一个线程,将默认执行器设置为这个处理器。此后,每隔十分钟,DumpService会向TaskManager添加一个新的DumpAllTask,由线程processingThread处理并执行。
按键精灵源码解析从零开始教你开发自己的脚本框架(一)
按键新用户如需体验按键功能并开通权限,可私聊小编,享受新人折扣。
xTask 2 是一个按键精灵脚本开发框架,发布于大约5-6年前,起初用于内部项目。框架完善后发布至论坛,但很快沉寂。我后来并未投入太多精力于此。近来我致力于提升社区整体水平,考虑撰写教程,但由于此类内容复杂且深奥,难以简洁明了地解释,对听众来说容易产生困惑。同时,脚本工具往往追求简单高效,直接执行即可。
架构设计较少被提及,对于脚本而言,架构并非必须,但在大型项目中,它能显著提升灵活性、维护性,使模块增删变得更加容易。如果你的代码量达到几万行开始感到头疼,很可能意味着架构能力不足,此时,深入学习命令使用方法已无法解决问题,更重要的是提升对数据形态组织和掌控能力,即架构能力。
架构实质上是将复杂系统进行有条理的整理和归纳。整理家中物品,明确其存放位置,是架构的体现,确保数据、命令、逻辑、流程有序整合,避免混乱。
架构的学习习惯可以培养,建议从基础开始,切勿在打地基阶段偷工减料。节省的每一分时间,未来都将以十倍百倍的成本返还。之前的教程已介绍如何使代码更易于阅读,今日从架构的角度出发,通过解析古老工程,理解xTask是如何实现事件驱动的程序运行。
xTask 通过界面响应执行,主要有几个界面,设计简单。顶层数据包括项目、计划任务和运行时任务,基于这三个核心数据,设计了运行状态、任务计划和项目管理界面。为了全面掌握数据,设计了全局数据界面,下设四个子界面,分别为全局数据、子脚本数据、计划任务数据和运行时线程数据。界面设计完成后,数据形态也得以明确,包括基础数据类型和结构化数据如数组、表。
按键精灵X对数据支持强大,而按键精灵则需额外支持结构化数据。通过自定义代码,为按键精灵加入了所需功能。界面构建完成后,数据模型梳理如下:以项目为核心,每个项目共享一组数据,并附带小数据库用于存储与项目相关的所有信息。计划任务界面通过列表形式展现,项目管理界面也采用列表形式,提供丰富的自定义选项。至此,界面构建完成,数据模型搭建完毕,优雅的开发顺序使得整个过程自然流畅。
回顾架构设计,关键在于以项目为核心组织数据,通过项目管理实现多个相似功能接口的组织,形成数据表与小数据库。将项目数据整理清晰,设计界面时便不再复杂。以计划任务为时间线,将数据形态整理后设计界面,最终实现动态数据的组织与管理,确保脚本运行时状态明确,避免问题追踪困难。