1.[clang]: llvm 前端编译流程
2.Clang概述
3.详解三大编译器：gcc、编译编译llvm 和 clang
4.MacOS使用clang
5.clang 学习笔记
6.c++反射----使用clang实现

[clang]: llvm 前端编译流程

       clang编译流程分为五个主要步骤：预处理器、源c源编译器、代码后端生成、编译编译汇编、源c源链接器。代码qq源码资源网

       预处理阶段主要进行文本替换操作，编译编译处理编译语言中的源c源预处理指令，如导入头文件和宏替换等，代码不进行语法和词法检测。编译编译

       编译器阶段通过词法分析和语法分析，源c源将预处理结果转换成抽象语法树（AST），代码以便生成中间表示（IR）。编译编译例如，源c源从文件test.cc生成的代码AST将会被转换成可读的文本中间表示（ll）或不可读的bitcode（bc）文件。

       生成IR阶段，AST被转换为中间表示格式，确保正确识别代码的语法结构。bitcode（bc）和ll文件为两种不同的中间表示形式，二者可以相互转换。通过指令可以实现从中间表示到汇编语言的转换。

       汇编阶段，使用指令将中间表示转换为汇编代码（test.s），汇编语言代码可用于运行或进一步转换。

       最后阶段是链接器，将生成的汇编代码（或其他类型的目标文件）链接为可执行文件或动态库。

       总结，整个流程包含以下关键输出文件：

       - test.c：源代码输入

       - test.i：预处理输出文件

       - test.bc：bitcode中间表示文件

       - test.ll：可读的文本中间表示文件

       - test.s：汇编代码输出

       - test.o：单文件生成的二进制文件

       - image：最终的可执行文件

       注意流程图中箭头方向表示文件转换方向，实线部分介绍Clang编译器相关功能，虚线部分不涉及。

Clang概述

       LLVM项目的一个子项目，基于LLVM架构的C/C++/Objective-C编译器前端

       Clang将C/C++/Object-C源码转换成LLVM IR，指令选择将LLVM IR转换成Selection DAG node（SDNode），指令调度将SDNode转换成MachineInstr，代码输出将MachineInstr转换成MCInst。

       Clang的两层含义：自动调用后端程序包括预处理（preprocessing），编译（compiling），链接（linking）并生成可执行程序，将C/C++/Object-C源码编译成LLVM IR。

       Compiler Driver本质是调度管理程序，Clang Driver划分成五个阶段：Parse、Pipeline、Bind、Translation、Execute。其执行过程大致如下：Driver::ExecuteCompilation -> Compilation::ExecuteJobs -> Compilation::ExecuteCommand-> Command::Execute -> llvm::sys::ExecuteAndWait。其执行过程调用相关操作系统，算法源码搜集网执行其系统相关的执行程序，并等待执行过程完成。

       Clang的核心组件包括Tokens、抽象语法树（AST）、语法分析、递归下降、Precedence Climbing算法等。Tokens是通过词法分析产生的单词记号，词法分析在预处理过程中初始化。抽象语法树（AST）是语法分析的输出，表示源代码语法结构的抽象表示。递归下降解析中缀表达式语法一般有两个问题，Precedence Climbing算法的主要思想是将表达式视为一堆嵌套的子表达式，其中每个子表达式都具有其包含的运算符的最低优先级。

       Clang的入口位于tools/driver/driver.cpp中的int main(int Argc, const char **Argv)函数，如果程序第一个参数是-cc1则直接执行函数static int ExecuteCC1Tool(SmallVectorImpl &ArgV)，此时为前端模式，直接执行cc1_main或cc1as_mian;执行完毕后程序退出；如果不是-cc1，则进行相关命令解释，生成相容的命令行，由int Driver::ExecuteCompilation(Compilation &C,SmallVectorImpl> &FailingCommands)执行相容的命令行。

       Clang通过Action完成具体的操作，CompilerInstance是一个编译器实例，综合了一个 Compiler 需要的 objects，如 Preprocessor，ASTContext，DiagnosticsEngine，TargetInfo 等。CompilerInvocation为编译器执行提供各种参数，它综合了TargetOptions、DiagnosticOptions、HeaderSearchOptions、CodeGenOptions、DependencyOutputOptions、FileSystemOptions、PreprocessorOutputOptions等各种参数。FrontendAction::ExecuteAction()是一个纯虚函数，通过继承这个方法来实现具体的Front End Action，Clang还提供了几个继承子类 ASTFrontendAction，PluginASTAction，PreprocessorFrontendAction。 Action及其派生的Action定义如下，大多数Front end Action都继承ASTFrontendAction，每一个ASTFrontendAction都会创建一个或者多个ASTConsumer，ASTConsumer也是一个纯虚类，通过继承ASTConsumer去实现特定的JTAG烧录协议源码AST Consumer。

       ASTConsumer中可以重载下面两个函数：HandleTopLevelDecl()解析顶级的声明（像全局变量，函数定义等）的时候被调用；HandleTranslationUnit()在整个文件都解析完后会被调用。大概流程如下：初始化CompilerInstance之后，调用其成员函数ExcutionAction, ExcutionAction会间接依次调用FrontendAction的6个成员函数（直接调用的是FrontendAction的三个public 接口，BeginSourceFile，Execute，EndSourceFile），而FrontendAction的ExecuteAction会最终调用语法分析函数ParseAST(未强制要求ParseAST放入ExcuteAction，但ASTFrontendAction如此)。 ParseAST在分析过程中，又会插入ASTConsumer的多个句柄（用得最多是HandleTopLevelDecl和 HandleTranslationUnit）。

       Clang的Parser是通过void clang::ParseAST(Sema &S, bool PrintStats, bool SkipFunctionBodies)执行的，ParseAST()函数对个top level decleration（包括变量和函数）调用parser解析得到一颗正确的语法树。Clang使用递归下降（recursive-decent）的语法分析，具体来说，采用的是基于中缀表达式分析的precedence climbing算法。

       Clang的Parser（lib/Parse和lib/AST）是通过void clang::ParseAST(Sema &S, bool PrintStats, bool SkipFunctionBodies)执行的，ParseAST()函数对个top level decleration（包括变量和函数）调用parser解析得到一颗正确的语法树。

详解三大编译器：gcc、llvm 和 clang

       详解三大编译器：gcc、llvm和clang

       编译器结构通常包括前端、优化器和后端。前端负责解析源代码，语法分析，生成抽象语法树；优化器在此基础上优化中间代码，追求效率提升；后端则将优化后的代码转化为特定平台的机器码。

       GNU Compiler Collection (gcc)起源于C语言编译器，后来扩展支持多种语言。然而，苹果公司由于对Objective-C特性和IDE需求的特殊性，与gcc分道扬镳，转而引入了LLVM。LLVM不仅提供编译器支持，还是一个底层虚拟机，可作为多种编译器的后端，其优点在于模块化和代码重用。

       Chris Lattner，这位编译器大牛，凭借在LLVM的研究和开发，特别是他提出的编译时优化思想，使得LLVM在苹果的Mac OS X .5中大放异彩。Clang是LLVM的前端，专为C、C++和Objective-C设计，旨在替代gcc。Clang在速度、element穿梭框源码内存占用和诊断信息可读性方面优于gcc，同时支持更多的编程语言和API集成。

       在选择gcc、LLVM和Clang时，最新项目推荐使用LLVM-GCC，因为它稳定且成熟，是Xcode 4的预设。然而，老版本的gcc不推荐使用，因为苹果对其维护较少。对于动态语言支持和代码重用，LLVM的特性更胜一筹，它不仅是一个编译器集合，更是库集合，为开发者提供了更大的灵活性。

       总的来说，LLVM通过提供通用中间代码和模块化设计，解决了传统编译器的局限，使代码重用成为可能，这使得它在现代编译器领域中独具优势。

MacOS使用clang

       本文旨在阐述在MacOS平台下使用clang命令对C++代码进行编译的过程。首先，创建文件main.cpp并编写C++代码。

       使用clang++命令开始编译过程，终端显示一系列输出信息，揭示了从输入源码到最终可执行程序的编译步骤。

       预处理阶段展开宏定义，词法分析解析出一个个token，包括标识符、分号等，并记录其在源码中的位置。语法分析与语义分析紧随其后，生成main.i、main.ll和汇编文件main.s。

       编译过程最后生成目标文件main.o，并在此基础上生成最终的可执行文件main。运行./main命令，即可看到"Hello world"的输出结果，完成C++代码的编译执行。

clang 学习笔记

       clang是LLVM编译器工具集的一个用于编译C、C++、Objective-C的前端，由苹果公司赞助开发，源代码采用类BSD的伊利诺伊大学厄巴纳-香槟分校开源码许可。相对于gcc，clang具有以下优势：

       1. 支持更现代的很多照片相册源码C++标准，如C++、C++、C++等。

       2. 代码质量更高，由于其分析更加严格，能够发现更多潜在错误。

       3. 更好的类型推断，可以减少使用模板代码的需要。

       4. 提供更详细的错误信息和诊断，帮助开发者快速定位问题。

       然而，clang在某些方面仍需改进，比如在处理大型项目时的构建速度和内存使用效率。此外，相对于gcc，clang的社区支持和文档可能稍显不足。

       要安装LLVM + clang，有二进制安装和源码安装两种方式。对于二进制安装，您可以在官网下载适合您操作系统的预编译版本。源码安装则需要下载LLVM源码，编译并配置安装。具体步骤如下：

       1. 下载LLVM源码包。

       2. 配置编译选项，包括指定安装路径等。

       3. 使用`make`命令编译源码。

       4. 使用`sudo make install`命令安装。

       编译C程序使用clang与gcc类似，可以通过创建一个包含`main`函数的C源文件，使用命令行编译并链接生成可执行文件。例如：

       1. 使用`gcc`或`clang`命令编译源文件。

       2. 使用`./a.out`运行生成的可执行文件。

       本文使用Zhihu On VSCode进行创作与发布。

c++反射----使用clang实现

       LLVM 与 Clang 介绍

       LLVM 是 Low Level Virtual Machine 的简称，它提供了一系列与编译器相关的支持，涵盖编译期优化、链接优化、在线编译优化及代码生成。LLVM 可以作为多种语言的后端，如 C、C++、Objective-C、Rust、Swift 等。

       Clang 是一个基于 LLVM 的 C++ 编写编译器前端，由 Apple 开发，用于在不支持全部 OpenGL 特性的 GPU 上生成代码（JIT），以确保程序的正常运行。Clang 相对于 GCC 具有清晰简单的设计、易于理解与扩展的特性，并提供了易于 IDE 集成的工具，如 clang-format、clang-ast、libclang、libtooling、address sanitizer 等。

       使用 Clang 实现 C++ 反射

       Clang 提供了一系列 C 语言接口，用于实现反射功能。尽管这些接口提供了部分基本信息，但不能全面涵盖 Clang C++ AST 中的信息。部分 C 接口虽附有 doxygen 注释，但作为指导文档，其内容不足以覆盖所有实现细节。实现特定功能时，开发者需自行探索。

       抽象语法树（AST）解析

       抽象语法树（AST）是 Clang 解析源代码生成的形式。通过相关工具导出 AST，可以实现代码分析和自动生成。以代码示例为例，经过手工分析，可以将其解析为 AST 形式。通过 Clang 命令（如 clang -Xclang -ast-dump -fsyntax-only test.hxx）打印 AST 输出，展示代码的抽象结构。

       利用 AST Matcher 过滤输出

       AST Matcher 可用于筛选 AST dump 的输出，获取特定信息。例如，仅打印参数类型为 std::vector 的函数声明。

       反射需求分析

       实现反射功能需要获取类、字段、函数等信息。通过 AST Matcher，可以过滤并获取感兴趣的部分。对于特定类、字段、函数的过滤，利用属性（Attribute）功能。

       属性（Attribute）介绍

       属性是程序结构的元数据，用于向编译器传递语义信息，如代码生成结构或静态分析信息。属性定义方式在不同编译器中有所不同，例如 GNU 和 Microsoft Visual C++ 的属性定义。

       自定义属性实现

       通过 annotate 属性作为标记，使用宏或其他方法扩展属性定义，实现自定义功能。利用 annotate 属性生成元数据，随后通过模板语言（如 Mustache）自动生成代码。

       代码自动生成流程

       在反射功能实现后，通过模板语言自动生成代码，构建包含反射信息的元数据。随后，通过预处理器或类似机制，将生成的代码插入原有编译流程中。

       总结

       利用 Clang 和 libclang 实现 C++ 反射功能，构建了自定义的反射系统。然而，系统存在模板支持不完全、libclang 局限性等问题。对于完整且严谨的反射系统，推荐直接使用 Clang 的 C++ 接口，功能更加强大，但文档相对缺乏。总之，实现 C++ 反射涉及深入理解和使用 Clang 和 libclang 的功能。

一文带你梳理Clang编译步骤及命令

       摘要： 本文简单介绍了Clang编译过程中涉及到的步骤和每个步骤的产物，并简单分析了部分影响预处理和编译成功的部分因素。

       本文简单介绍部分Clang和LLVM的编译命令。更关注前端部分（生成 IR 部分）。

1. Clang编译步骤概览

       我们可以使用命令打印出来Clang支持的步骤，如下：

clang-ccc-print-phasestest.c+-0:input,"test.c",c+-1:preprocessor,{ 0},cpp-output+-2:compiler,{ 1},ir+-3:backend,{ 2},assembler+-4:assembler,{ 3},object5:linker,{ 4},image

       根据上面的介绍，可以根据每一部分的结果，分为5个步骤（不包含上面的第0步）：preprocessor、compiler、backend、assembler、linker等。

       具体到 Clang 中每一步骤生成的结果文件。我们可以使用下面的示意图来表示：

       说明：上面的示意图以Clang编译一个C文件为例，介绍了Clang编译过程中涉及到的中间文件类型：

       (1) test.c 为输入的源码（对应步骤 0）；

       (2) test.i 为预处理文件（对应步骤 1 的输出，cpp-output 中，cpp 不是指 C++ 语言，而是 c preprocessor 的 缩写）；

       (3) test.bc 为 bitcode文件，是clang的一种中间表示（对应步骤 2 的输出）；

       (4) test.ll 为一种文本化的中间表示，可以打开来看的（对应步骤 2 的输出， 和 .bc 一样都是中间表示，可以相互转化）；

       (5) test.s 为汇编结果（对应步骤 3 的输出）；

       (6) test.o 为单文件生成的二进制文件（对应步骤 4 的输出）；

       (7) image 为可执行文件（对应步骤 5 的输出）。

       注意：示意图画的也并不完整，如下介绍：

       (1) 箭头所指的方向，表示可以从一种类型的文件，生成箭头所指的文件类型；

       (2) 图中箭头并没有画完，比如可以从 test.c 生成 test.s, test.o 等。如果将上面的示意图当做一种 有向图，那么基于 箭头 所指的方向，只要 节点能连接的点，都是可以做转换的；

       (3) 图中的实线和虚线，只是表示本人关心的Clang编译器中的内容，并没有其他的含义，本文也只介绍图中实线部分的内容，虚线部分的内容不做介绍。

2. 转换命令集合

       下面介绍部分涉及到上面步骤的转换命令：

#1..c->.iclang-E-ctest.c-otest.i#2..c->.bcclang-emit-llvmtest.c-c-otest.bc#3..c->.llclang-emit-llvmtest.c-S-otest.ll#4..i->.bcclang-emit-llvmtest.i-c-otest.bc#5..i->.llclang-emit-llvmtest.i-S-otest.ll#6..bc->.llllvm-distest.bc-otest.ll#7..ll->.bcllvm-astest.ll-otest.bc#8.多bc合并为一个bcllvm-linktest1.bctest2.bc-otest.bc

       上面列出了一部分Clang不同文件直接转换的命令（和第 1 部分的 示意图 序号匹配，还是只关心前端部分）。只是最后增加了一个将多个 bc 合并为一个 bc file 的命令。

3. 查看Clang AST结构

       我们可以通过如下的命令查看源码的AST结构：

clang-Xclang-ast-dump-ctest.c

       打印出来的AST信息，其实是预处理之后展开的源码信息，源码的AST内容在打印出来的内容的最下面。

       如下面的代码：

#include<stdio.h>intmain(){ printf("hello");return0;}

       打印出来的部分AST（仅根当前文件内容匹配部分）如下：

       头上的头文件引用等已经展开，没有了，但是下面的 main 函数定义，则如上面的 FunctionDecl 所示，并且给出了 代码中的位置。这里就不详细分析AST的结构了，写几个例子比对一下就很容易理解。

4. 编译正确性的影响因素

       当前，很多静态代码分析工具，都采用 Clang 和 LLVM 作为底座来开发静态代码分析工具。Clang自己也有 clang-tidy 工具可以用来做 C/C++ 语言的静态代码分析。为了能够用 Clang 和 LLVM 来成功分析 C/C++ 代码，需要考虑如何成功使用 Clang 和 LLVM 来编译 C/C++ 代码。可以考虑的是，成功生成 bc file，是静态代码分析的基础操作。

4.1 影响预处理结果的因素

       预处理过程，作用跟名字一样，都可以不当做编译的一个步骤，而是编译的一个预处理操作。我们说得再直白一点儿，其实就是做了一个文本替换的活儿，就是对 C/C++ 代码中的 预处理指令 进行处理。预处理指令很简单，比如 #include，#define 等，都是预处理指令（可以参考：/en-us/cpp/preprocessor/preprocessor-directives?view=msvc-，或者google下，很多介绍的）。

       如果程序中没有预处理指令，即使我们随便瞎写的代码，预处理也一般不会有问题，如下的代码（main.c）：

abcdef

       我们仍然可以正确得到 预处理结果：

#1"main.c"#1"<built-in>"1#1"<built-in>"3#"<built-in>"3#1"<commandline>"1#1"<built-in>"2#1"main.c"2abcdef

       为了成功执行预处理执行，很容易理解，就是可以对程序中的所有的 预处理指令 进行处理。比如：

       (1) #include，依赖了一个头文件，我们能不能成功找到这个头文件；

       (2) #define，定义了一个宏，在程序中定义宏的时候，我们能不能准确找到宏（找到，还必须准确）；

       (3) 其他指令。

4.2 影响IR生成因素

       这一步是针对上一步生成的预处理指令，进行解析的操作。这一步才是最关键的，归根结底，我们需要保证一点：使Clang编译器可以正确识别出来代码中内容表示的语法结构，并且接纳这种语法结构！

       举一些简单例子：

       (1) -std 用来指定支持的 C/C++ 标准的，如果我们没有指定，那么就会采用 Clang 默认的标准来编译，就可能导致语法不兼容；

       (2) -Werror=* 等参数，可能将某些能识别的语法，给搞成错误的使用；

       (3) 其他的部分，跟语法识别的参数；

       (4) 还有一部分的语法，可能 Clang 自始至终就没有进行适配，这种就要考虑修改源码了。

4.3 链接相关因素

       在真正编译中，如果链接有问题，那就会失败，但是在静态代码分析中，链接有失败（无法链接）或者错误（不相关的给链接在一起），可能多点儿分析误报或者漏报，一般不会导致分析失败。这类问题，影响的不是中间表示的生成，而是分析结果（影响跨文件的过程间分析，影响对built-in函数的建模等）。

       一般，链接命令的捕获，target信息配置等，会影响这部分的能力。当然，也跟你实现的工具有关（如果实现的工具，就没有跨文件的能力，这部分内容也没啥影响）。

       作者：maijun。

Clang前端源码分析

       Clang前端源码分析

       Clang，作为Apple公司的一款重要编译器，旨在取代GCC的地位，其设计独特，架构分为前端、优化器和后端三部分。这种架构使得新语言编译器的开发仅需关注前端，而优化器和后端可以保持通用，适应不同架构的编译只需调整后端部分。Clang的起源是Apple为摆脱GCC的限制，由Chris Lattner主导，基于LLVM架构创建的，初衷是提供一个更清晰、易扩展和高效的选择。

       在Xcode的演变中，从GCC 4.2版本后，LLVM-Clang逐渐取代了GCC的地位，尤其在Apple系统中，LLVM-Clang以其优点成为首选。Clang的模块化设计使得它在错误提示、IDE集成等方面表现优于GCC，尽管GCC支持更多语言和平台，但维护和性能不如Clang。如今，Clang在Android NDK中也逐渐占据主导，取代了部分GCC的职责，展示了其在编译领域的竞争力。

       如果你想深入了解Clang的源码解析，可以关注DriverOptTable的生成机制，特别是Driver::ParseArgStrings方法，它负责将命令行参数解析为ArgList，对参数进行合法性检查，确保编译器的正确运行。通过这些细节，可以更好地理解Clang编译器参数处理的复杂性和灵活性。