皮皮网

1.umi3源码解析之核心Service类初始化
2.vue/compiler-sfc源码分析学习--part2:如何处理script--day5
3.[转]Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1
4.ClickHouse 源码解析: MergeTree Merge 算法
5.Python-发送邮件（带链接、源码附件、源码源代码）

umi3源码解析之核心Service类初始化

       前言

       umi是源码一个插件化的企业级前端应用框架，在开发中后台项目中应用颇广，源码确实带来了许多便利。源码借着这个契机，源码雨燕体育直播源码便有了我们接下来的源码“umi3源码解析”系列的分享，初衷很简单就是源码从源码层面上帮助大家深入认知umi这个框架，能够更得心应手的源码使用它，学习源码中的源码设计思想提升自身。该系列的源码大纲如下：

       开辟鸿蒙，今天要解析的源码就是第一part，内容包括以下两个部分：

       邂逅umi命令，源码看看umidev时都做了什么？

       初遇插件化，源码了解源码中核心的源码Service类初始化的过程。

       本次使用源码版本为?3.5.，地址放在这里了，接下来的每一块代码笔者都贴心的为大家注释了在源码中的位置，先clone再食用更香哟！

邂逅umi命令

       该部分在源码中的路径为：packages/umi

       首先是第一部分umi命令，umi脚手架为我们提供了umi这个命令，当我们创建完一个umi项目并安装完相关依赖之后，通过yarnstart启动该项目时，执行的命令就是umidev

       那么在umi命令运行期间都发生了什么呢，先让我们来看一下完整的流程，如下图：

       接下来我们对其几个重点的步骤进行解析，首先就是对于我们在命令行输入的umi命令进行处理。

处理命令行参数//packages/umi/src/cli.tsconstargs=yParser(process.argv.slice(2),{ alias:{ version:['v'],help:['h'],},boolean:['version'],});if(args.version&&!args._[0]){ args._[0]='version';constlocal=existsSync(join(__dirname,'../.local'))?chalk.cyan('@local'):'';console.log(`umi@${ require('../package.json').version}${ local}`);}elseif(!args._[0]){ args._[0]='help';}

       解析命令行参数所使用的yParser方法是基于yargs-parser封装,该方法的两个入参分别是进程的可执行文件的绝对路径和正在执行的JS文件的路径。解析结果如下：

//输入umidev经yargs-parser解析后为：//args={ //_:["dev"],//}

       在解析命令行参数后，对version和help参数进行了特殊处理：

       如果args中有version字段，并且args._中没有值，asp.net网站源码将执行version命令，并从package.json中获得version的值并打印

       如果没有version字段，args._中也没有值，将执行help命令

       总的来说就是，如果只输入umi实际会执行umihelp展示umi命令的使用指南，如果输入umi--version会输出依赖的版本，如果执行umidev那就是接下来的步骤了。

       提问：您知道输入umi--versiondev会发什么吗？

       运行umidev

//packages/umi/src/cli.tsconstchild=fork({ scriptPath:require.resolve('./forkedDev'),});process.on('SIGINT',()=>{ child.kill('SIGINT');process.exit(0);});//packages/umi/src/utils/fork.tsif(CURRENT_PORT){ process.env.PORT=CURRENT_PORT;}constchild=fork(scriptPath,process.argv.slice(2),{ execArgv});child.on('message',(data:any)=>{ consttype=(data&&data.type)||null;if(type==='RESTART'){ child.kill();start({ scriptPath});}elseif(type==='UPDATE_PORT'){ //setcurrentusedportCURRENT_PORT=data.portasnumber;}process.send?.(data);});

       本地开发时，大部分脚手架都会采用开启一个新的线程来启动项目，umi脚手架也是如此。这里的fork方法是基于node中child_process.fork()方法的封装，主要做了以下三件事：

       确定端口号，使用命令行指定的端口号或默认的，如果该端口号已被占用则prot+=1

       开启子进程，该子进程独立于父进程，两者之间建立IPC通信通道进行消息传递

       处理通信，主要监听了RESTART重启和UPDATE_PORT更新端口号事件

       接下来看一下在子进程中运行的forkedDev.ts都做了什么。

//packages/umi/src/forkedDev.ts(async()=>{ try{ //1、设置NODE_ENV为developmentprocess.env.NODE_ENV='development';//2、InitwebpackversiondeterminationandrequirehookinitWebpack();//3、实例化Service类，执行run方法constservice=newService({ cwd:getCwd(),//umi项目的根路径pkg:getPkg(process.cwd()),//项目的package.json文件的路径});awaitservice.run({ name:'dev',args,});//4、父子进程通信letclosed=false;process.once('SIGINT',()=>onSignal('SIGINT'));process.once('SIGQUIT',()=>onSignal('SIGQUIT'));process.once('SIGTERM',()=>onSignal('SIGTERM'));functiononSignal(signal:string){ if(closed)return;closed=true;//退出时触发插件中的onExit事件service.applyPlugins({ key:'onExit',type:service.ApplyPluginsType.event,args:{ signal,},});process.exit(0);}}catch(e:any){ process.exit(1);}})();

       设置process.env.NODE_ENV的值

       initWebpack（接下来解析）

       实例化Service并run（第二part的内容）

       处理父子进程通信，当父进程监听到SIGINT、SIGTERM等终止进程的信号，也通知到子进程进行终止；子进程退出时触发插件中的onExit事件

       initWebpack

//packages/umi/src/initWebpack.tsconsthaveWebpack5=(configContent.includes('webpack5:')&&!configContent.includes('//webpack5:')&&!configContent.includes('//webpack5:'))||(configContent.includes('mfsu:')&&!configContent.includes('//mfsu:')&&!configContent.includes('//mfsu:'));if(haveWebpack5||process.env.USE_WEBPACK_5){ process.env.USE_WEBPACK_5='1';init(true);}else{ init();}initRequreHook();

       这一步功能是检查用户配置确定初始化webpack的版本。读取默认配置文件.umirc和config/config中的配置，如果其中有webpack5或?mfsu等相关配置，umi就会使用webpack5进行初始化，否则就使用webpack4进行初始化。源码天空背景图这里的mfsu是webpack5的模块联邦相关配置，umi在3.5版本时已经进行了支持。

初遇插件化

       该部分在源码中的路径为：packages/core/src/Service

       说起umi框架，最先让人想到的就是插件化，这也是框架的核心，该部分实现的核心源码就是Service类，接下来我们就来看看Service类的实例化和init()的过程中发生了什么，可以称之为插件化实现的开端，该部分的大致流程如下

       该流程图中前四步，都是在Service类实例化的过程中完成的，接下来让我们走进Service类。

Service类的实例化//packages/core/src/Service/Service.tsexportdefaultclassServiceextendsEventEmitter{ constructor(opts:IServiceOpts){ super();this.cwd=opts.cwd||process.cwd();//当前工作目录//repoDirshouldbetherootdirofrepothis.pkg=opts.pkg||this.resolvePackage();//package.jsonthis.env=opts.env||process.env.NODE_ENV;//环境变量//在解析config之前注册babelthis.babelRegister=newBabelRegister();//通过dotenv将环境变量中的变量从.env或.env.local文件加载到process.env中this.loadEnv();//1、getuserconfigconstconfigFiles=opts.configFiles;this.configInstance=newConfig({ cwd:this.cwd,service:this,localConfig:this.env==='development',configFiles});this.userConfig=this.configInstance.getUserConfig();//2、getpathsthis.paths=getPaths({ cwd:this.cwd,config:this.userConfig!,env:this.env,});//3、getpresetsandpluginsthis.initialPresets=resolvePresets({ ...baseOpts,presets:opts.presets||[],userConfigPresets:this.userConfig.presets||[],});this.initialPlugins=resolvePlugins({ ...baseOpts,plugins:opts.plugins||[],userConfigPlugins:this.userConfig.plugins||[],});}}

       Service类继承自EventEmitter用于实现自定义事件。在Service类实例化的过程中除了初始化成员变量外主要做了以下三件事：

       1、解析配置文件

//packages/core/src/Config/Config.tsconstDEFAULT_CONFIG_FILES=[//默认配置文件'.umirc.ts','.umirc.js','config/config.ts','config/config.js',];//...if(Array.isArray(opts.configFiles)){ //配置的优先读取this.configFiles=lodash.uniq(opts.configFiles.concat(this.configFiles));}//...getUserConfig(){ //1、找到configFiles中的第一个文件constconfigFile=this.getConfigFile();this.configFile=configFile;//潜在问题：.local和.env的配置必须有configFile才有效if(configFile){ letenvConfigFile;if(process.env.UMI_ENV){ //1.根据UMI_ENV添加后缀eg:.umirc.ts-->.umirc.cloud.tsconstenvConfigFileName=this.addAffix(configFile,process.env.UMI_ENV,);//2.去掉后缀eg:.umirc.cloud.ts-->.umirc.cloudconstfileNameWithoutExt=envConfigFileName.replace(extname(envConfigFileName),'',);//3.找到该环境下对应的配置文件eg:.umirc.cloud.[ts|tsx|js|jsx]envConfigFile=getFile({ base:this.cwd,fileNameWithoutExt,type:'javascript',})?.filename;}constfiles=[configFile,//eg:.umirc.tsenvConfigFile,//eg:.umirc.cloud.tsthis.localConfig&&this.addAffix(configFile,'local'),//eg:.umirc.local.ts].filter((f):fisstring=>!!f).map((f)=>join(this.cwd,f))//转为绝对路径.filter((f)=>existsSync(f));//clearrequirecacheandsetbabelregisterconstrequireDeps=files.reduce((memo:string[],file)=>{ memo=memo.concat(parseRequireDeps(file));//递归解析依赖returnmemo;},[]);//删除对象中的键值require.cache[cachePath]，下一次require将重新加载模块requireDeps.forEach(cleanRequireCache);this.service.babelRegister.setOnlyMap({ key:'config',value:requireDeps,});//requireconfigandmergereturnthis.mergeConfig(...this.requireConfigs(files));}else{ return{ };}}

       细品源码，可以看出umi读取配置文件的优先级：自定义配置文件?>.umirc>config/config，后续根据UMI_ENV尝试获取对应的配置文件，development模式下还会使用local配置，不同环境下的配置文件也是有优先级的

       例如：.umirc.local.ts>.umirc.cloud.ts>.umirc.ts

       由于配置文件中可能require其他配置，这里通过parseRequireDeps方法进行递归处理。在解析出所有的配置文件后，会通过cleanRequireCache方法清除requeire缓存，这样可以保证在接下来合并配置时的引入是实时的。

       2、获取相关绝对路径

//packages/core/src/Service/getPaths.tsexportdefaultfunctiongetServicePaths({ cwd,config,env,}:{ cwd:string;config:any;env?:string;}):IServicePaths{ letabsSrcPath=cwd;if(isDirectoryAndExist(join(cwd,'src'))){ absSrcPath=join(cwd,'src');}constabsPagesPath=config.singular?join(absSrcPath,'page'):join(absSrcPath,'pages');consttmpDir=['.umi',env!=='development'&&env].filter(Boolean).join('-');returnnormalizeWithWinPath({ cwd,absNodeModulesPath:join(cwd,'node_modules'),absOutputPath:join(cwd,config.outputPath||'./dist'),absSrcPath,//srcabsPagesPath,//pagesabsTmpPath:join(absSrcPath,tmpDir),});}

       这一步主要获取项目目录结构中node_modules、dist、二维码扫源码src、pages等文件夹的绝对路径。如果用户在配置文件中配置了singular为true，那么页面文件夹路径就是src/page，默认是src/pages

       3、收集preset和plugin以对象形式描述

       在umi中“万物皆插件”，preset是对于插件的描述，可以理解为“插件集”，是为了方便对插件的管理。例如：@umijs/preset-react就是一个针对react应用的插件集，其中包括了plugin-access权限管理、plugin-antdantdUI组件等。

//packages/core/src/Service/Service.tsthis.initialPresets=resolvePresets({ ...baseOpts,presets:opts.presets||[],userConfigPresets:this.userConfig.presets||[],});this.initialPlugins=resolvePlugins({ ...baseOpts,plugins:opts.plugins||[],userConfigPlugins:this.userConfig.plugins||[],});

       在收集preset和plugin时，首先调用了resolvePresets方法，其中做了以下处理：

       3.1、调用getPluginsOrPresets方法，进一步收集preset和plugin并合并

//packages/core/src/Service/utils/pluginUtils.tsgetPluginsOrPresets(type:PluginType,opts:IOpts):string[]{ constupperCaseType=type.toUpperCase();return[//opts...((opts[type===PluginType.preset?'presets':'plugins']asany)||[]),//env...(process.env[`UMI_${ upperCaseType}S`]||'').split(',').filter(Boolean),//dependencies...Object.keys(opts.pkg.devDependencies||{ }).concat(Object.keys(opts.pkg.dependencies||{ })).filter(isPluginOrPreset.bind(null,type)),//userconfig...((opts[type===PluginType.preset?'userConfigPresets':'userConfigPlugins']asany)||[]),].map((path)=>{ returnresolve.sync(path,{ basedir:opts.cwd,extensions:['.js','.ts'],});});}

       这里可以看出收集preset和plugin的来源主要有四个：

       实例化Service时的入参

       process.env中指定的UMI_PRESETS或UMI_PLUGINS

       package.json中dependencies和devDependencies配置的，需要命名规则符合?/^(@umijs\/|umi-)preset-/这个正则

       解析配置文件中的，即入参中的userConfigPresets或userConfigPresets

       3.2、调用pathToObj方法：将收集的plugin或preset以对象的形式输出

//输入umidev经yargs-parser解析后为：//args={ //_:["dev"],//}0

       umi官网中提到过：每个插件都会对应一个id和一个key，id是路径的简写，key是进一步简化后用于配置的唯一值。便是在这一步进行的处理

       形式如下：

//输入umidev经yargs-parser解析后为：//args={ //_:["dev"],//}1

       思考：为什么要将插件以对象的形式进行描述？有什么好处？

执行run方法，初始化插件

       在Service类实例化完毕后，会立马调用run方法，run()执行的第一步就是执行init方法，init()方法的功能就是完成插件的初始化，主要操作如下：

       遍历initialPresets并init

       合并initpresets过程中得到的plugin和initialPlugins

       遍历合并后的plugins并init

       这里的initialPresets和initialPlugins就是上一步收集preset和plugin得到的结果，在这一步要对其逐一的init，接下来我们看一下init的天堂 源码过程中做了什么。

       Initplugin

//输入umidev经yargs-parser解析后为：//args={ //_:["dev"],//}2

       这段代码主要做了以下几件事情：

       getPluginAPI方法：newPluginAPI时传入了Service实例，通过pluginAPI实例中的registerMethod方法将register方法添加到Service实例的pluginMethods中，后续返回pluginAPI的代理，以动态获取最新的register方法，以实现边注册边使用。

//输入umidev经yargs-parser解析后为：/

vue/compiler-sfc源码分析学习--part2:如何处理script--day5

       在vue/compiler-sfc源码分析学习系列的part2中，我们深入探讨了script部分的处理。今天是系列的最后一天，我们将重点关注script的生成和转换。

       首先，setup返回语句部分主要判断了使用的是template、inlineTemplate还是render函数。对于常规template，我们进入了第一部分逻辑，返回的`returned`包含了变量、函数、类等，但不包括defineProps、defineEmits和defineExpose这些特殊处理。

       对于inline或render函数的处理，虽然重要，但这里暂且不表，留待后续章节。在`export default`部分，除了boolean类型和带有默认值的函数，其余类型定义会被移除，以符合非setup语法的要求。

       接着，代码将解析后的数据整理成非setup语法糖形式，包括合并非setup块的export和导入。这部分，我们直接展示了最终的script代码，以直观展示转换过程。

       在代码中，有几个关键点值得注意，特别是辅助函数的加入，如mergeDefaults，用于合并默认值。最后，总结部分重申，今天是script处理的尾声，主要工作是将setup语法糖转化为直观的代码，尤其是处理props部分的复杂性。

[转]Megatron-LM源码系列(六)：Distributed-Optimizer分布式优化器实现Part1

       Megatron-LM源码系列(六): Distributed-Optimizer分布式优化器实现Part1

       使用说明

       在Megatron中，通过使用命令行参数`--use-distributed-optimizer`即可开启分布式优化器，这一功能在`megatron/arguments.py`文件中设置。分布式优化器的核心思想是将训练过程中优化器的状态均匀分布到不同数据并行的rank结点上，实现相当于使用Zero-1训练的效果。

       当使用`--use-distributed-optimizer`参数时，系统将检查两个条件：`args.DDP_impl == 'local'`(默认开启)和`args.use_contiguous_buffers_in_local_ddp`(默认开启)。这些条件确保了优化器的正确配置与运行环境的兼容性。

       分布式优化器节省的理论显存值依赖于参数类型和梯度类型。具体来说，根据参数和梯度的类型，每个参数在分布式环境中将占用特定数量的字节。例如，假设`d`代表数据并行的大小（即一个数据并行的卡数），则理论字节数量可通过以下公式计算得出。

       实现介绍

       这部分内容将深入探讨分布式优化器的实施细节。

       3.1 程序入口

       通过分析初始化过程和系统调用，我们可以深入理解分布式优化器的启动机制。

       3.2 grad buffer初始化（DistributedDataParallel类）

       在这个部分，我们关注DistributedDataParallel类及其在初始化grad buffer时的功能与作用，这是实现分布式训练中关键的一环。

       3.3 分布式优化器实现(DistributedOptimizer类)

       通过实现DistributedOptimizer类，Megatron-LM允许模型在分布式环境中进行有效的训练。这包括对优化器状态的管理、梯度聚合与分散等关键操作。

       后续将会继续探讨关于分布式优化器实现的更多内容，读者可参考Megatron-LM源码系列(七)：Distributed-Optimizer分布式优化器实现Part2以获得深入理解。

       参考文献

ClickHouse 源码解析: MergeTree Merge 算法

       ClickHouse MergeTree 「Merge 算法」 是对 MergeTree 表引擎进行数据整理的一种算法，也是 MergeTree 引擎得以高效运行的重要组成部分。

       理解 Merge 算法，首先回顾 MergeTree 相关背景知识。ClickHouse 在写入时，将一次写入的数据存放至一个物理磁盘目录，产生一个 Part。然而，随着插入次数增多，查询时数据分布不均，形成问题。一种常见想法是合并小 Part，类似 LSM-tree 思想，形成大 Part。

       面临合并策略的选择，"数据插入后立即合并"策略会迅速导致写入成本失控。因此，需要在写入放大与 Part 数量间寻求平衡。ClickHouse 的 Merge 算法便是实现这一平衡的解决方案。

       算法通过参数 base 控制参与合并的 Part 数量，形成树形结构。随着合并进行，形成不同层，总层数为 MergeTree 的深度。当树处于均衡状态时，深度与 log(N) 成比例。base 参数用于判断参与合并的 Part 是否满足条件，总大小与最大大小之比需大于等于 base。

       执行合并时机在每次插入数据后，但并非每次都会真正执行合并操作。对于给定的多个 Part，选择最适合合并的组合是一个数学问题，ClickHouse 限制为相邻 Part 合并，降低决策复杂度。最终，通过穷举找到最优组合进行合并。

       合并过程涉及对有序数组进行多路合并。ClickHouse 使用 Sort-Merge Join 类似算法，通过顺序扫描多个 Part 完成合并过程，保持有序性。算法复杂度为 Θ(M * N)，其中 M 为 Part 长度，N 为参与合并的 Part 数量。

       对于非主键字段，ClickHouse 提供两种处理方式：Horizontal 和 Vertical。Vertical 分为两个阶段，分别处理非主键字段的合并和输出。

       源码解析包括 Merge 触发时机、选择需要合并的 Parts、执行合并等部分。触发时机主要在写入数据时，考虑执行 Mutate 任务后。选择需要合并的 Parts 通过 SimpleMergeSelector 实现，考虑了与 TTL 相关的特殊 Merge 类型。执行合并的类为 MergeTask，分为三个阶段：ExecuteAndFinalizeHorizontalPart、VerticalMergeStage。

       Merge 算法是 MergeTree 高性能的关键，平衡写入放大与查询性能，是数据整理过程中的必要步骤。此算法通过参数和决策逻辑实现了在不同目标之间的权衡。希望以上信息能帮助你全面理解 Merge 算法。

Python-发送邮件（带链接、附件、源代码）

       在众多编程语言中，Python因其简洁易懂的语法和强大的功能成为许多开发者的选择。Python不仅擅长数据处理、科学计算，还能用于自动化任务，比如发送电子邮件。本文将分享如何使用Python发送带有链接、附件和源代码的邮件。

       首先，让我们明确Python发送邮件的思路。尽管可能需要了解一些底层知识，但幸运的是，Python的库已经为我们提供了封装好的接口。这些库简化了邮件发送过程，使得我们只需关注如何使用这些接口，而无需关心复杂的邮件协议。

       发送邮件的主要步骤如下：

       1. 开启邮箱授权码。这通常需要登录你的邮箱服务提供商（如邮箱）并按照指引操作。完成后，邮箱会发送一个验证码，验证通过后，你将获得授权码。

       2. 使用Python库（如smtplib和email）编写脚本来发送邮件。在代码中，你需要替换授权码、收件人邮箱地址、发件人邮箱地址和邮件内容。

       3. 验证邮件发送是否成功。可以通过捕获异常或检查邮件是否已成功发送到收件人邮箱来验证。

       为了确保代码的实用性，下面提供一个简单的Python脚本示例，用于发送邮件，包含链接、附件和源代码。请根据实际情况调整代码中的邮箱和授权码信息。

       python

       import smtplib

       from email.mime.multipart import MIMEMultipart

       from email.mime.text import MIMEText

       from email.mime.application import MIMEApplication

       # 邮箱配置

       smtp_server = 'smtp..com' # 邮箱服务器

       smtp_port = # 邮箱服务器端口

       email = 'your_email@example.com' # 发件人邮箱地址

       password = 'your_password' # 邮箱授权码

       # 创建邮件对象

       msg = MIMEMultipart()

       msg['From'] = email

       msg['To'] = 'recipient@example.com' # 收件人邮箱地址

       msg['Subject'] = '邮件主题'

       # 邮件正文内容

       body = '邮件正文内容'

       msg.attach(MIMEText(body, 'plain'))

       # 添加附件

       attachment = 'path/to/your/file' # 附件路径

       with open(attachment, 'rb') as f:

        part = MIMEApplication(f.read(), Name=attachment.split('/')[-1])

        part['Content-Disposition'] = f'attachment; filename="{ part.get_filename()}"'

        msg.attach(part)

       # 添加源代码链接

       link = '/source-code' # 源代码链接

       msg.attach(MIMEText(f'查看源代码: { link}', 'html'))

       # 发送邮件

       try:

        server = smtplib.SMTP(smtp_server, smtp_port)

        server.starttls()

        server.login(email, password)

        server.sendmail(email, 'recipient@example.com', msg.as_string())

        server.quit()

        print('邮件发送成功')

       except Exception as e:

        print('邮件发送失败:', e)

       通过以上步骤，你可以轻松地使用Python发送包含链接、附件和源代码的邮件。实践过程中，确保遵循目标邮箱服务提供商的规定，使用合适的授权码，并在代码中替换关键信息，以保证邮件发送的顺利进行。