皮皮网

1.YARN源码剖析：NM启动过程
2.十二、flink源码解析-创建和启动TaskManager二
3.Addressables Runtime源码学习之总览

YARN源码剖析：NM启动过程

       NodeManager初始化和启动过程主要涉及配置文件读取，资源信息配置，以及服务启动等步骤。重点在于初始化阶段，配置文件读取完成，核心源码是什么包括关于节点资源信息的配置。

       启动NodeManager（NM）时，遵循与ResourceManager（RM）类似的逻辑，启动各个服务。关键在于nodeStatusUpdater模块。其中两个重要方法为registerWithRM()和startStatusUpdater()。这两个方法通过RPC远程调用ResourceManager中的经验源码两个接口：registerNodeManager()和nodeHeartbeat()。

       NM启动过程中添加的服务列表构成其核心功能描述。例如，NodeHealthCheckerService提供节点健康检查功能，包含两个子service：NodeHealthScriptRunner（使用配置的脚本进行健康检查）和LocalDirsHandlerService（检查磁盘健康状况）。此服务包含getHealthReport()方法，用于获取健康检查结果。

       NM中的关键类之一为NMContext，它作为组件间信息共享的接口。

       NM与RM之间的心跳通信是整个过程中不可或缺的部分，确保了资源管理系统的实时状态监控与资源分配协调。

       综上所述，NodeManager的明日源码启动过程涉及初始化配置、启动关键服务以及与ResourceManager的交互，实现资源管理和节点健康监控等功能。这一过程为YARN框架提供了稳定、高效的基础结构。

十二、flink源码解析-创建和启动TaskManager二

       深入探讨Flink源码中创建与启动TaskManager的过程，我们首先聚焦于内部启动onStart阶段。此阶段核心在于启动TaskExecutorServices服务，具体步骤包括与ResourceManager的连接、注册和资源分配。

       当TaskExecutor启动时，首先生成新的eggroll 源码注册并创建未完成的future，随后等待注册成功并执行注册操作。这一过程由步骤1至步骤5组成，确保注册与资源连接的无缝集成。一旦注册成功，资源管理器会发送SlotReport报告至TaskExecutor，然后分配slot。

       TaskSlotTable开始分配slot，JobTable获取并提供slot至JobManager。这一流程确保资源的有效分配与任务的高效执行。与此同时，ResourceManager侧的TaskExecutor注册流程同样重要，包括连接与注册TaskExecutor。源码状态

       一旦完成注册与资源分配，ResourceManager会发送SlotReport报告至JobMaster，提供slot以供调度任务。这一步骤标志着slot的分配与JobManager的准备工作就绪，为后续任务部署打下基础。

       在ResourceManager侧，slot管理组件注册新的taskManager，根据规则更新slot状态、释放资源或继续执行注册。这一过程确保资源的高效管理与任务的顺利进行。

       在JobMaster侧，slot的分配与管理通过slotPool进行，确保待调度任务能够得到所需资源。这一阶段标志着任务调度与执行的准备就绪。

       流程的最后，回顾整个创建与启动TaskManager的过程，从资源连接与注册到slot分配与任务调度，各个环节紧密相连，确保Flink系统的高效运行与任务的顺利执行。

Addressables Runtime源码学习之总览

       Addressables系统，一套封装了资源管理逻辑的系统，主要由Editor和Runtime两部分构成。其中，Editor负责资源的分组管理和打包，而Runtime则主要处理资源的内存管理。

       本文将重点分析Runtime部分，首先从整体上对其进行概述。Runtime主要包括API、初始化、资源定位、资源加载和解析、资源管理以及多平台这些部分。这些分类主要是基于类的功能性进行总结的。

       以下标题分类则是按照Runtime下代码的目录层级进行划分的。在ResourceManager目录下，包含ResourceProvider目录，其中Provider主要负责各种资源的加载和解析。此外，Manager目录下还包含Operations目录，Operations作为操作类，负责初始化、加载、卸载等操作。这里包含了Operations的基类以及ProviderOperation等。

       APIAddressables是一个API的壳，主要包含以下几个成员：

       其中，API的接口主要包括以下几种：

       AddressablesImpl是关于Addressables接口的具体实现。

       AssetLabelReference是Asset Label的引用类，实现了IKeyEvaluator接口。

       RuntimeKey对应LabelString。

       AssetReference是Addressable Asset的引用，同样实现了IKeyEvaluator接口。

       RuntimeKey对应GUID。

       包含资源加载和卸载的接口，最终会调用AddressableImpl的接口。

       AssetReferenceUILabelRestriction用于限制AssetReference的Label。

       IKeyEvaluator提供RuntimeKey的接口。

       初始化、资源定位器ResourceLocators、资源管理ResourceManager、资源内容管理器ResourcesProviders、服务Services、公用Utility等模块在编辑中...