1.编译技术入门与实践之LLVM概述及环境构建
2.解密数据仓库LLVM技术神奇之处
3.详解三大编译器：gcc、源码llvm 和 clang
4.llvm是解读什么
5.（一）LLVM概述——介绍与安装
6.Obfuscator-llvm源码分析
编译技术入门与实践之LLVM概述及环境构建
本系列旨在记录学习过程和知识总结，便于后续交流。源码我专注于智能芯片研究，解读编译器设计是源码实践中的常见挑战，最近实验中涉及LLVM pass，解读calibre源码处理源代码到数据流的源码转换。
LLVM是解读一个集成了模块化技术的编译器项目，非传统虚拟机概念，源码全称为LLVM项目。解读最初由伊利诺大学发起，源码目标是解读创建基于SSA策略的现代化编译策略，支持多种语言的源码静态和动态编译。它包含众多子项目，解读如LLVM core、源码Clang、LLDB等，广泛应用于学术和商业领域，以其通用性、灵活性和可重用性为特点。
LLVM的核心子项目包括：LLVM core提供源码和目标代码隔离的优化器，支持多种CPU；Clang是C/C++编译器，包含自动code检查工具；LLDB是高效调试器，基于LLVM核心和Clang；libc++与libc++ ABI提供C++标准库；compiler-rt提供底层代码生成优化；MLIR构建可扩展的编译器架构；OpenMP支持OpenMP在Clang中的使用；Polly进行本地化优化和并行化；libclc开发OpenCL标准库；klee则提供符号化虚拟机以检测bug。
实验准备部分，LLVM项目包含一系列工具和库，如汇编器、反汇编器等，用于处理LLVM中间表示和目标文件的转换。获取源代码时，需要明确硬件平台和软件环境。在Ubuntu系统中，可能需要升级cmake、安装openssl等。构建LLVM和Clang时，遵循官网指南，配置后执行make或ninja命令进行编译，海西桃源码头并可能需要解决一些编译错误。
解密数据仓库LLVM技术神奇之处
LLVM是什么？
LLVM，全名“Low Level Virtual Machine”，最初是指底层虚拟机的概念，但随着项目的演进，其含义已不再局限于底层虚拟机。广义上，LLVM是一个用于开发编译前端与后端的工具套件，包括优化器和后端。而CLANG则是C/C++的编译前端。
LLVM的优势？
传统编译器通常采用三阶段设计：前端解析源代码生成抽象语法树，优化器根据规则优化代码，后端将代码映射至目标指令集。而LLVM同样采用三段式设计，但其显著优势在于为不同语言提供了统一的中间表示IR，以及模块化的后端支持，如MCJIT模块支持JIT编译，灵活性优于传统编译器。
DWS为何使用LLVM？
DWS使用LLVM旨在解决查询优化问题，包括减少冗余计算、避免大量虚函数调用、改善数据调用效率、以及发挥通用硬件平台的扩展指令集功能。通过LLVM的JIT技术，DWS能够生成定制化机器码，优化查询执行过程，例如在物化tuple时，提前计算偏移量，减少重复计算和类型判断。
如何使用LLVM？
在DWS中，通过设置两个GUC参数控制LLVM功能：enable_codegen控制是否开启codegen，默认为on；codegen_cost_threshold控制处理行数，默认为行。DWS通过处理行数而非计划代价来决定是否启用codegen。用户可以通过分析LLVM JIT编译时间，调整处理数据行数的没有耐心看源码门槛值以优化性能。
LLVM适用场景？
LLVM仅支持DN上且为列存向量化执行路径的查询作业，支持特定数据类型和表达式。在查询过滤、连接条件、分组过滤等场景下，LLVM动态编译能显著优化执行效率。但不支持所有算子，仅限于特定类型的数据和操作。用户可通过explain performance工具查看是否适用于LLVM动态编译优化。
LLVM的未来展望？
深入理解LLVM原理及其在DWS中的应用，将有助于优化查询性能和提升数据处理效率。通过合理配置参数和监控编译时间，用户可以进一步优化系统运行。未来，随着技术进步，LLVM将可能支持更多场景和优化方法，进一步提升数据库的处理能力。
详解三大编译器：gcc、llvm 和 clang
详解三大编译器：gcc、llvm和clang
编译器结构通常包括前端、优化器和后端。前端负责解析源代码，语法分析，生成抽象语法树；优化器在此基础上优化中间代码，追求效率提升；后端则将优化后的代码转化为特定平台的机器码。
GNU Compiler Collection (gcc)起源于C语言编译器，后来扩展支持多种语言。然而，苹果公司由于对Objective-C特性和IDE需求的特殊性，与gcc分道扬镳，转而引入了LLVM。LLVM不仅提供编译器支持，还是一个底层虚拟机，可作为多种编译器的后端，其优点在于模块化和代码重用。
Chris k m公式源码Lattner，这位编译器大牛，凭借在LLVM的研究和开发，特别是他提出的编译时优化思想，使得LLVM在苹果的Mac OS X .5中大放异彩。Clang是LLVM的前端，专为C、C++和Objective-C设计，旨在替代gcc。Clang在速度、内存占用和诊断信息可读性方面优于gcc，同时支持更多的编程语言和API集成。
在选择gcc、LLVM和Clang时，最新项目推荐使用LLVM-GCC，因为它稳定且成熟，是Xcode 4的预设。然而，老版本的gcc不推荐使用，因为苹果对其维护较少。对于动态语言支持和代码重用，LLVM的特性更胜一筹，它不仅是一个编译器集合，更是库集合，为开发者提供了更大的灵活性。
总的来说，LLVM通过提供通用中间代码和模块化设计，解决了传统编译器的局限，使代码重用成为可能，这使得它在现代编译器领域中独具优势。
llvm是什么
LLVM是一个开源的编译器基础设施项目。它是采用LLVM技术的工具的集合体，包含了静态编译器，全局共享环境的完整程序构造以及能够重构优化的动态二进制执行系统等重要部分。LLVM的目标是提供一种可扩展的、模块化的框架，允许开发人员以一种统一的超玩宇宙源码方式来处理程序的编译过程。 关于LLVM的详细解释： 1. LLVM的基本概念：LLVM是Low Level Virtual Machine的缩写，这是一个通用的编译工具和库集合，这些工具与库旨在以高度优化的方式生成代码。它不仅包含一套编译器工具链，如Clang前端工具，还包含一系列运行时库，这些库为各种语言提供了高效的运行时支持。 2. LLVM的特性：LLVM提供了许多重要的特性来支持程序的编译与执行过程。其中包括支持多种语言编程的通用编译器架构、代码生成的高效性和灵活性以及高度的模块化设计，使得开发人员能够根据需要选择不同的工具和库来实现不同的功能。此外，LLVM还提供了丰富的优化选项和调试支持，使得开发者能够更容易地调试和优化他们的代码。 3. LLVM的应用场景：由于LLVM的强大功能和高效性能，它被广泛用于多种场景。无论是操作系统开发、高性能计算还是嵌入式系统等领域，都可以看到LLVM的身影。同时，许多知名的软件项目也采用了LLVM技术来提高其性能和稳定性。此外，由于LLVM是开源的，开发者可以自由地访问和使用其源代码，这使得LLVM能够在开源社区中得到广泛的应用和推广。最后值得一提的是，使用LLVM的静态编译功能可以有效避免运行时内存注入漏洞带来的安全隐患问题，因而很多行业应用的软件和嵌入式系统中都开始采用LLVM技术。（一）LLVM概述——介绍与安装
LLVM是一个由Chris Lattner和Vikram Adve于年在伊利诺伊大学香槟分校创建的项目，旨在提供一种现代编译策略，支持任何编程语言的静态和动态编译。该项目在年发布第一个正式版本，并最终成为最受欢迎的开源编译器框架。用户可利用LLVM开发自己的编译器。LLVM的命名源自底层虚拟机（Low Level Virtual Machine）的首字母缩写，但随着时间的推移，这个名字已不再贴切，现在它已成为LLVM下所有项目的统称。在安装方面，有多种方法可以实现，包括使用官方安装脚本（适用于Debian/Ubuntu）、官方预编译二进制文件、包管理器（如Ubuntu中加入源列表并执行shell命令）、或从源码编译。对于Ubuntu .，安装LLVM .0.1后，通常会自动安装所需库和工具，如clang编译器，但其他组件（如lldb）可能需要单独安装。对于macOS用户，可以按照类似步骤从源码编译安装。编译过程中，需要确保系统中安装了必要的软件。通过执行相应的命令，如使用make或ninja，可以完成编译过程。在文章的结尾，作者表示，由于水平有限，可能存在错误，欢迎读者指出。
Obfuscator-llvm源码分析
在逆向分析中，Obfuscator-llvm是一个备受关注的工具，它通过混淆前端语言生成的中间代码来增强SO文件的安全性。本文主要讲解了Obfuscator-llvm的三个核心pass——BogusControlFlow、Flattening和Instruction Substitution，它们在O-llvm-3.6.1版本中的实现。
BogusControlFlow通过添加虚假控制流和垃圾指令来混淆函数，其runOnFunction函数会检查特定参数，如混淆次数和基本块混淆概率。在测试代码中，它会将基本块一分为二，插入随机指令，形成条件跳转，如“1.0 == 1.0”条件下的真跳转和假跳转。
Flattening通过添加switch-case语句使函数结构扁平化，runOnFunction会检查启动标志。在示例代码中，它将基本块分隔，创建switch结构，并根据随机值跳转到不同case，使函数执行流程变得复杂。
Instruction Substitution负责替换特定指令，runOnFunction会检测启动命令，遍历所有指令并随机应用替换策略，如Add指令的多种可能替换方式。
虽然O-llvm提供了一定程度的混淆，但仍有改进空间，比如增加更多的替换规则和更复杂的跳转策略。作者建议，利用O-llvm的开源特性，开发者可以根据需求自定义混淆方法，提高混淆的复杂性和逆向难度。
最后，对于对Obfuscator-llvm感兴趣的读者，可以参考《ollvm的混淆反混淆和定制修改》的文章进一步学习。网易云安全提供的应用加固服务提供了试用机会，对于保护软件安全具有实际价值。
更多关于软件安全和源码分析的内容，欢迎访问网易云社区。
LLVM（MLIR）安装编译
本文旨在为有兴趣自行安装和编译 LLVM（利用 MLIR 作为后端输出的主要方式）的读者提供一份详细指南。在实际操作过程中，可能会遇到一些理解上的偏差，欢迎指正。由于目标是能在 x 和 RISCV 上运行，所有配置均基于 i7-H 笔记本，运行 Ubuntu . LTS 系统。
以下是编译配置的步骤：
第一步：下载 LLVM 的源码。确保已安装 git，若未安装，请执行 sudo apt-get install git。创建名为 LLVM 的文件夹存放 LLVM 源码，并将源码文件夹命名为 llvm-project。接着，通过 git 下载 LLVM 源码。
第二步：建立用于 LLVM 编译的文件夹。为了区分编译产生的文件和源文件，建立名为 build 的文件夹。在教程中，每段代码都以 cd 到主文件夹，然后进入工程文件夹的方式进行，便于理解。
第三步：进入 build 文件夹，完成编译配置。此过程大致分为如何编译、编译什么、为谁编三个部分。具体参数如下：
如何编译：指定编译器类型、线程数及目标地址。例如，使用 -DLLVM_PARALLEL_COMPILE_JOBS=### 设置并行编译工作数，使用 -DCMAKE_INSTALL_PREFIX=*** 指定安装路径，使用 -DLLVM_CCACHE_BUILD=### 选择是否使用 ccache。选择 C 和 C++ 编译器，如 -DCMAKE_C_COMPILER=### 和 -DCMAKE_CXX_COMPILER=###。启用 LLD 作为链接器以提高效率，可通过 -DLLVM_ENABLE_LLD=ON 实现。
编译什么：设置编译版本类型，如 Debug、Release 等，使用 -DCMAKE_BUILD_TYPE=###。同时，通过 -DLLVM_ENABLE_PROJECTS=### 配置需要编译的子项目。
为谁编：指定目标平台，如 x 和 RISCV，使用 -DLLVM_TARGETS_TO_BUILD=###。可选平台包括但不限于：AArch、AMDGPU、ARM、AVR、BPF、Hexagon 等。
注意：在完成编译配置后，执行编译命令。在遇到可能的问题时，检查错误信息并根据需要调整参数。最后，根据实际需求进行文件路径、编译选项等的调整。
以上步骤和参数配置将帮助您成功安装和编译 LLVM，满足在 x 和 RISCV 上运行的需求。通过本文提供的指南，希望能为您的项目开发提供便利。如有任何疑问或需要进一步的帮助，请随时提问。
LLVM源码编译及调试
为了深入理解并实现LLVM源码的编译与调试，我们需要分步骤进行，逐一安装相关软件并配置环境。首先，安装cmake，这是构建过程的核心工具。 在Linux环境下，我们可以使用tar命令来下载并解压cmake的安装包。具体的步骤是：访问cmake官网，下载cmake-3..0-rc2-linux-x_.tar.gz。
使用tar命令解压文件：`tar xf cmake-3..0-rc2-linux-x_.tar.gz`。
将解压后的文件移到/usr/share目录，并重命名为cmake-3..0-rc2-linux-x_以方便访问。
创建软连接，将cmake-3..0-rc2-linux-x_/bin/cmake移动到/usr/bin目录，并重命名为cmake，确保它可以被直接调用。
然后，安装ninja，这是构建过程中高效的任务执行工具。使用git克隆ninja的源代码。
运行配置脚本以生成构建文件。
复制ninja到/usr/bin目录。
通过`ninja --version`检查ninja的安装情况。
接下来，安装Python、gcc和g++，这是构建LLVM环境的基本依赖。 之后，安装LLVM。我们可以通过git克隆LLVM项目并进行配置、构建和安装。克隆LLVM项目。
指定版本（例如，基于特定版本）。
切换到项目目录并使用cmake进行配置。
使用预先选择的构建系统（如Ninja）和选项进行构建。
执行构建并使用ninja命令进行编译。
调试LLVM源码涉及查看支持的后端target、使用前端编译器（clang）生成LLVM IR、使用LLVM工具（如llc）进行调试、并使用graphviz生成可视化图表。 在调试过程中，可以使用以下工具：查看各阶段DAG使用llvm-dis。
查看AMDGPU寄存器信息与指令信息使用llvm-tblgen。
通过上述步骤，您可以成功安装并配置LLVM源码的编译环境，并进行有效的调试与分析。