皮皮网

1.手把手教你实现 TiFlash 向量化函数丨十分钟成为 TiFlash Contributor
2.TiFlash 源码阅读（一） TiFlash 存储层概览
3.RISC-V服务器（SG2042）尝试部署MongoDB、源码TiDB、分析Hbase、源码OracleDB
4.TiDB 性能分析工具——PProf
5.SQL抽象语法树及改写场景应用
6.TiDB 源码阅读系列文章（十六）INSERT 语句详解

手把手教你实现 TiFlash 向量化函数丨十分钟成为 TiFlash Contributor

       本文作者：黄海升，分析TiFlash 研发工程师

       TiFlash 的源码开源获得了社区的广泛关注，很多开发者通过阅读源码来理解 TiFlash 的分析进口产品溯源码没有怎么查设计原理，并且有不少人渴望参与到 TiFlash 的源码贡献中来。为了帮助大家快速成为 TiFlash 的分析贡献者，我们特此撰写一系列文章，源码从理论到实践，分析与大家分享关于 TiFlash 的源码一切。

       在前篇中，分析我们简单介绍了如何将 TiDB 函数下推到 TiFlash，源码以及在开发过程中需要掌握的分析一些基础知识。本篇将带领你亲手实现一个向量化函数，源码具体步骤如下：

       在 TiDB 的代码库中，你需要在 expression/expression.go 文件中找到 scalarExprSupportedByFlash 方法，并添加你的函数，以便 TiDB 的 planner 可以判断该函数是否可以下推到 TiFlash。

       为了验证下推逻辑，需要在 expression/expr_to_pb_test.go 文件中添加针对你的函数的单元测试，并在 planner/core/integration_test.go 文件中增加对应的集成测试。你可以参考已有的测试案例，如 TestRightShiftPushDownToTiFlash，来构建你的测试用例。确保你的测试用例能够验证函数是否正确地被下推到 TiFlash 算子中。

       在 TiFlash 的代码库中，你需要了解相关的前置知识，包括 TiFlash 的向量化计算、IFunction 接口、数据类型体系、Column 体系以及使用 C++ 模板简化类型处理。在实现下推时，要根据函数的类型添加映射，并选择合适的实现逻辑。

       为了确保你的函数功能正确，需要编写并运行单元测试。在 TiFlash 的 README 文件中，你可以找到如何在本地运行测试的详细说明。通常，你需要先以 DEBUG 模式构建代码，然后运行特定目录下的测试脚本，如 dbms/gtests_dbms、libdaemon/src/tests/gtests_libdaemon 和 libcommon/src/tests/gtests_libcommon。

       最后，进行集成测试以确保你的函数能够在实际的 TiFlash 环境中正常工作。测试脚本通常位于 /tests 目录下，这将帮助你验证函数与 TiFlash 的其他组件之间的交互。

       通过遵循上述步骤，你将能够实现一个向量化函数，并成为 TiFlash 的有效贡献者。我们希望这一系列文章能成为你学习和贡献 TiFlash 的指南，共同推动 TiDB 生态系统的发展。

TiFlash 源码阅读（一） TiFlash 存储层概览

       本系列文章聚焦于 TiFlash，读者需具备基本的 TiDB 知识。TiFlash 是 TiDB HTAP 模式的关键组件，作为 TiKV 的列存扩展，通过 Raft Learner 协议实现异步复制，400选号网站源码并提供与 TiKV 相同的快照隔离支持。自 5.0 引入 MPP 后，TiDB 的实时分析场景下计算加速能力得到了增强。

       TiFlash 整体逻辑模块划分如下：通过 Raft Learner Proxy 接入多 Raft 体系，计算层 MPP 在 TiFlash 间进行数据交换，提供更强的分析计算能力。Schema 模块与 TiDB 表结构同步，将 TiKV 同步数据转换为列形式，并写入列存引擎。底层为 DeltaTree 引擎。

       TiFlash 基于 ClickHouse fork，沿用了 ClickHouse 的向量化执行引擎，并加入针对 TiDB 的对接、MySQL 兼容、Raft 协议、集群模式、实时更新列存引擎、MPP 架构等特性。DeltaTree 引擎解决了高频率数据写入、实时更新读性能优化、符合 TiDB 事务模型、支持 MVCC 过滤、数据分片便于分析场景等需求。

       DeltaTree 引擎不同于 MergeTree，具备原生支持高频率写入、列存实时更新下读性能优化、支持 TiDB 事务模型、数据分片便于提供分析特性等优势。MergeTree 引擎存在写入碎片、Scan 时 CPU cache miss 严重、清理过期数据时 compaction 导致性能波动等问题，而 DeltaTree 通过横向分割数据管理、delta-stable 数据组织、PageStorage 存储等设计优化了性能。

       DeltaTree 引擎通过在表内按 handle 列分段管理数据，采用 delta-stable 数据组织，PageStorage 存储小数据块，构建 DeltaIndex 和 Rough Set Index 等组件优化读性能。DeltaIndex 帮助减少 CPU bound 的 merge 操作，Rough Set Index 用于过滤数据块，减少不必要的 IO 操作。

       TiFlash 存储层 DeltaTree 引擎在不同数据量和更新 TPS 下读性能表现优于基于 MergeTree 的实现，提供更稳定、高效的读、写性能。TiFlash 中的 PageStorage、DeltaIndex、Rough Set Index 等组件协同作用，优化数据管理和查询性能。

       DeltaTree 引擎在 TiFlash 内部实现中，通过 PageStorage 存储数据，DeltaIndex 提高读性能，Rough Set Index 优化查询效率，提供了对 HTAP 场景的优化和支持。TiFlash 存储层 DeltaTree 引擎的设计和实现细节将在后续章节中详细展开。

RISC-V服务器（SG）尝试部署MongoDB、TiDB、同花顺决策密码源码Hbase、OracleDB

       在尝试在RISC-V服务器SG上部署MongoDB、TiDB、Hbase和OracleDB时，我们需要了解它们各自的特点和安装方法。MongoDB是一个分布式文件存储数据库，以其灵活性、可扩展性和高性能著称。它支持文档数据模型，可轻松扩展到多个节点，且文档结构动态可变，适用于各种复杂查询。

       MongoDB有多种版本，包括社区版（免费，功能有限）和企业版（提供高级安全功能，需要购买）。安装时，脚本安装在当前环境中不可行，需要从源码编译，但可能会遇到问题。TiDB则是一个分布式关系型数据库，结合了SQL和NoSQL特性，支持分布式事务和水平扩展。然而，同样在本环境中，脚本和编译安装都无法直接进行。

       HBase作为非关系型数据库，基于Hadoop，适用于大规模实时数据处理。它的列族和列数据模型支持高并发操作，但同样，脚本和编译安装在SG上无法实现。OracleDB作为RDBMS，是企业级数据库解决方案，具有标准SQL支持和ACID事务，但其部署安装同样面临同样的限制。

       总的来说，部署这四款数据库在RISC-V服务器SG上需要额外的定制化处理，可能需要对底层环境进行调整，或者寻找特定的二进制包或云托管服务来完成安装和运行。开发者需要对每个数据库的特性有深入理解，并可能需要寻求专业支持来解决安装问题。

TiDB 性能分析工具——PProf

       数据库性能是数据库开发中的关键因素，因此在TiDB开发时，对性能进行测试是必不可少的，以确保功能稳定与性能优化。在性能测试过程中，面对性能波动和下降，定位问题原因成为首要任务。此时，性能分析工具——Profiling工具，能帮助我们快速识别问题所在，高效定位性能瓶颈。

       Profiling工具通过跟踪程序运行时的方法调用栈，并统计相关资源消耗与时间，如CPU、内存等，cf人物加速源码分析方法之间的调用关系和资源消耗情况，从而帮助我们找到资源消耗最大的方法，快速确定优化策略。TiDB作为Golang实现的数据库，提供了丰富的监控手段，但对于本地源码开发，使用Profiling工具（如PProf）能更直接、方便地进行性能分析。

       PProf是Golang内置的代码性能分析工具，可生成代码分析报告，支持命令式交互查看与可视化展示。在TiDB中，引入PProf包极为简便，通过在主程序入口（如main()）添加几行代码，即可轻松启动PProf分析。启动后，访问特定URL（如host:/debug/pprof/）即可查看各种指标数据。

       PProf提供多种指标以分析性能问题，包括内存分配、阻塞同步、命令行调用、goroutine堆栈跟踪、内存分配情况、互斥锁竞争、CPU配置文件、新线程创建、程序执行跟踪等。这些指标覆盖了从内存管理到并发控制、CPU利用等多方面，帮助开发者深入分析性能瓶颈。

       通过命令行进行交互式查看，用户可以根据需求选择不同指标（如heap、mutex等），并设置观察时间（seconds参数），获取详细记录后，使用go tool pprof命令进行分析。同时，PProf支持可视化展示，通过交互式命令模式进入后，输入特定指令，如Top查看耗时最长的个记录，进一步分析性能问题。

       可视化界面通过Web指令生成图形化显示，利用Graphviz进行安装并配置后，通过命令web即可查看方法之间的调用关系和每一个方法的资源消耗与时耗。火焰图作为另一种可视化展示方式，通过go-torch工具生成SVG文件，以浏览器打开，直观展示方法调用顺序与资源占用情况，便于快速定位问题。

       通过PProf工具与上述方法，开发者不仅能在TiDB开发过程中高效分析性能问题，还能学习TiDB的代码架构、方法调用流程和关键函数位置，尤其适合新手进行源码学习。PProf不仅提供了性能分析的强大工具，也为TiDB开发人员提供了深入理解系统架构与优化策略的个人资料源码途径。

SQL抽象语法树及改写场景应用

       我们日常编写SQL语句，提交后获取结果集。例如，"select * from t_user where user_id > ;"，目标是从t_user表中筛选出user_id大于的所有记录。这条SQL经历了什么才能生成结果集呢？

       不同数据库如MySQL、Oracle、TiDB、CK，乃至大数据计算引擎Hive、HBase、Spark，通过SQL引擎实现接受SQL并返回结果的功能。SQL引擎的核心执行逻辑大致为：词法分析、语法分析、查询优化、生成逻辑计划、物理计划，最后执行。

       词法分析和语法分析引出了抽象语法树（AST）的概念。AST是对源代码语法结构的抽象表示，以树状形式展现，每个节点代表源码中的一种结构。SQL提交给SQL引擎后，首先经过词法分析，然后利用语法解析器生成AST。

       以"select username,ismale from userInfo where age> and level>5 and 1=1"为例，抽象语法树简单理解为逻辑执行计划，经过查询优化器优化，得到逻辑计划树，实现谓词下推、剪枝等操作。逻辑计划进一步转换为物理计划，如数据扫描、聚合，最后执行。

       ANTLR4工具广泛应用于解析SQL，通过构建G4文件描述语法，实现SQL拆解、封装和内容提取。在Java中，利用ANTLR4解析SQL，获取AST并提取表名。AST解析过程复杂，但通过简单字符串解析理解ANTLR4逻辑，有助于深入理解SQL解析。

       在工业应用中，利用ANTLR4生成并解析AST，虽然提供了基础解析能力，但更深入处理通常需要进一步自定义操作。在Java生态中，Apache Sharding Sphere、Mycat等流行SQL解析工具实现了这一需求。

       获取AST后，可以实现SQL的改写。改写SQL通常涉及添加占位符、正则匹配关键字，这些方法存在局限性和安全风险。基于AST的改写更安全，通过遍历树结构，调整目标节点，实现语法符合的改写。

       利用Druid的SQL解析模块，通过SQLUtils类实现SQL改写，包括新增改写和查询改写。改写过程涉及识别SQL语法结构，如join、sub-query等。

       在数据库数据隔离上，实现动态SQL改写，开发人员无需感知，通过在数据表上增加字段和环境标识，CRUD SQL自动增加标识字段（如flag='预发'、flag='生产'），操作数据仅限于当前应用环境。

TiDB 源码阅读系列文章（十六）INSERT 语句详解

       作者：于帅鹏

       在已有的文章《TiDB 源码阅读系列文章（四）INSERT 语句概览》中，探讨了 INSERT 语句的基本流程。本文将深入解析 TiDB 中 INSERT 语句的多样性，特别是处理Unique Key冲突的各种策略。我们将了解六种不同类型的INSERT，包括基本插入、忽略冲突、更新冲突、警告更新、替换插入和特殊的LOAD DATA导入。

       六种INSERT语句如下：

       基本插入：当遇到唯一键冲突时，返回失败。

       忽略冲突：插入时遇到冲突，忽略并记录警告。

       更新冲突：在冲突后尝试更新并插入，若更新后仍有冲突，报错。

       警告更新：同上，冲突后更新，冲突再冲突则为警告。

       替换插入：冲突时删除并插入，重复此过程直到无冲突。

       LOAD DATA：类似忽略冲突，数据来自csv文件，但处理方式特殊。

       基本插入的执行逻辑在executor/insert.go，其中InsertExec实现了Executor接口。执行流程根据是否使用SELECT语句获取数据，分为insertRows和insertRowsFromSelect。insertOneRow是处理基本插入的核心部分，它在事务提交时检查冲突，利用batchChecker进行高效冲突检测。

       对于INSERT IGNORE，虽然基本插入在提交时检测冲突，但INSERT IGNORE需要立即检测，因此使用batchChecker实现批量检查，以提高效率。而INSERT ON DUPLICATE KEY UPDATE更为复杂，涉及插入和更新操作，通过batchChecker读取和更新数据，处理各种可能的冲突情况。

       REPLACE INSERT语句则具有特殊性，它会删除冲突行直到成功插入，这与其它INSERT语句处理冲突的方式有所不同。

       理解这些INSERT语句的实现，对于使用TiDB的高效执行以及潜在的代码贡献具有重要意义。继续阅读源码，掌握这些细节，将有助于你更准确地运用INSERT语句。

TiKV 源码解析系列文章（十四）Coprocessor 概览

       本文将简要介绍 TiKV Coprocessor 的基本原理。TiKV Coprocessor 是 TiDB 的一部分，用于在 TiKV 层处理读请求。通过引入 Coprocessor，TiKV 可以在获取数据后进行计算，从而提高性能。

       传统处理方式中，TiDB 向 TiKV 获取数据，然后在 TiDB 内部进行计算。而 Coprocessor 则允许 TiKV 进行计算，将计算结果直接返回给 TiDB，减少数据在系统内部的传输。

       Coprocessor 的概念借鉴自 HBase，其主要功能是对读请求进行分类，处理包括 TableScan、IndexScan、Selection、Limit、TopN、Aggregation 等不同类型请求。其中，DAG 类请求是最复杂且常用的类型，本文将重点介绍。

       DAG 请求是由一系列算子组成的有向无环图，这些算子在代码中称为 Executors。DAG 请求目前支持两种计算模型：火山模型和向量化模型。在当前的 TiKV master 上，这两种模型并存，但火山模型已被弃用，因此本文将重点介绍向量化计算模型。

       向量化计算模型中，所有算子实现了 BatchExecutor 接口，其核心功能是 get_batch。算子类型包括 TableScan、IndexScan、Selection、Limit、TopN 和 Aggregation 等，它们之间可以任意组合。

       以查询语句“select count(1) from t where age>”为例，展示了如何使用不同算子进行处理。本文仅提供 Coprocessor 的概要介绍，后续将深入分析该模块的源码细节，并欢迎读者提出改进意见。

TiDB 源码阅读系列文章（五）TiDB SQL Parser 的实现

       本文是 TiDB 源码阅读系列文章的第五篇，主要内容围绕 SQL Parser 功能实现进行讲解。内容源自社区伙伴马震（GitHub ID：mz）的投稿。系列文章的目的是与数据库研究者及爱好者深入交流，收到了社区的积极反馈。后续，期待更多伙伴加入 TiDB 的探讨与分享。

       TiDB 的源码阅读系列文章，帮助读者系统性地学习 TiDB 内部实现。最近的《SQL 的一生》一文，全面阐述了 SQL 语句处理流程，从接收网络数据、MySQL 协议解析、SQL 语法解析、查询计划制定与优化、执行直至返回结果。

       其中，SQL Parser 的功能是将 SQL 语句按照 SQL 语法规则进行解析，将文本转换为抽象语法树（AST）。此功能需要一定背景知识，下文将尝试介绍相关知识，以帮助理解这部分代码。

       TiDB 使用 goyacc 根据预定义的 SQL 语法规则文件 parser.y 生成 SQL 语法解析器。这一过程可在 TiDB 的 Makefile 文件中看到，通过构建 goyacc 工具，使用 goyacc 依据 parser.y 生成解析器 parser.go。

       goyacc 是 yacc 的 Golang 版本，因此理解语法规则定义文件 parser.y 及解析器工作原理之前，需要对 Lex & Yacc 有所了解。Lex & Yacc 是用于生成词法分析器和语法分析器的工具，它们简化了编译器的编写。

       下文将详细介绍 Lex & Yacc 的工作流程，以及生成解析器的过程。我们将从 Lex 根据用户定义的 patterns 生成词法分析器，词法分析器读取源代码并转换为 tokens 输出，以及 Yacc 根据用户定义的语法规则生成语法分析器等角度进行阐述。

       生成词法分析器和语法分析器的过程，用户需为 Lex 提供 patterns 的定义，为 Yacc 提供语法规则文件。这两种配置都是文本文件，结构相同，分为三个部分。我们将关注中间规则定义部分，并通过一个简单的例子来解释。

       Lex 的输入文件中，规则定义部分使用正则表达式定义了变量、整数和操作符等 token 类型。例如整数 token 的定义，当输入字符串匹配正则表达式时，大括号内的动作会被执行，将整数值存储在变量yylval 中，并返回 token 类型 INTEGER 给 Yacc。

       而 Yacc 的语法规则定义文件中，第一部分定义了 token 类型和运算符的结合性。四种运算符都是左结合，同一行的运算符优先级相同，不同行的运算符，后定义的行具有更高的优先级。语法规则使用 BNF 表达，大部分现代编程语言都可以使用 BNF 表示。

       表达式解析是生成表达式的逆向操作，需要将语法树归约到一个非终结符。Yacc 生成的语法分析器使用自底向上的归约方式进行语法解析，同时使用堆栈保存中间状态。通过一个表达式 x + y * z 的解析过程，我们可以理解这一过程。

       在这一过程中，读取的 token 压入堆栈，当发现堆栈中的内容匹配了某个产生式的右侧，则将匹配的项从堆栈中弹出，将该产生式左侧的非终结符压入堆栈。这个过程持续进行，直到读取完所有的 tokens，并且只有启始非终结符保留在堆栈中。

       产生式右侧的大括号中定义了该规则关联的动作，例如将三项从堆栈中弹出，两个表达式相加，结果再压回堆栈顶。这里可以使用 $position 的形式访问堆栈中的项，$1 引用第一项，$2 引用第二项，以此类推。$$ 代表归约操作执行后的堆栈顶。本例的动作是将三项从堆栈中弹出，两个表达式相加，结果再压回堆栈顶。

       在上述例子中，动作不仅完成了语法解析，还完成了表达式求值。一般希望语法解析的结果是一颗抽象语法树（AST），可以定义语法规则关联的动作。这样，解析完成时，我们就能得到由 nodeType 构成的抽象语法树，对这个语法树进行遍历访问，可以生成机器代码或解释执行。

       至此，我们对 Lex & Yacc 的原理有了大致了解，虽然还有许多细节，如如何消除语法的歧义，但这些概念对于理解 TiDB 的代码已经足够。

       下一部分，我们介绍 TiDB SQL Parser 的实现。有了前面的背景知识，对 TiDB 的 SQL Parser 模块的理解会更易上手。TiDB 使用手写的词法解析器（出于性能考虑），语法解析采用 goyacc。我们先来看 SQL 语法规则文件 parser.y，这是生成 SQL 语法解析器的基础。

       parser.y 文件包含 多行代码，初看可能令人感到复杂，但该文件仍然遵循我们之前介绍的结构。我们只需要关注第一部分 definitions 和第二部分 rules。

       第一部分定义了 token 类型、优先级、结合性等。注意 union 结构体，它定义了在语法解析过程中被压入堆栈的项的属性和类型。压入堆栈的项可能是终结符，也就是 token，它的类型可以是 item 或 ident；也可能是非终结符，即产生式的左侧，它的类型可以是 expr、statement、item 或 ident。

       goyacc 根据这个 union 在解析器中生成对应的 struct。在语法解析过程中，非终结符会被构造成抽象语法树（AST）的节点 ast.ExprNode 或 ast.StmtNode。抽象语法树相关的数据结构定义在 ast 包中，它们大都实现了 ast.Node 接口。

       ast.Node 接口有一个 Accept 方法，接受 Visitor 参数，后续对 AST 的处理主要依赖这个 Accept 方法，以 Visitor 模式遍历所有的节点以及对 AST 做结构转换。例如 plan.preprocess 是对 AST 做预处理，包括合法性检查以及名字绑定。

       union 后面是对 token 和非终结符按照类型分别定义。第一部分的最后是对优先级和结合性的定义。文件的第二部分是 SQL 语法的产生式和每个规则对应的 aciton。SQL 语法非常复杂，大部分内容都是产生式的定义。例如 SELECT 语法的定义，我们可以在 parser.y 中找到 SELECT 语句的产生式。

       完成语法规则文件 parser.y 的定义后，使用 goyacc 生成语法解析器。TiDB 对 lexer 和 parser.go 进行封装，对外提供 parser.yy_parser 进行 SQL 语句的解析。

       最后，我们通过一个简单的例子，使用 TiDB 的 SQL Parser 进行 SQL 语法解析，构建出抽象语法树，并通过 visitor 遍历 AST。我实现的 visitor 只输出节点的类型，运行结果依次输出遍历过程中遇到的节点类型。

       了解 TiDB SQL Parser 的实现后，我们有可能实现当前不支持的语法，如添加内置函数。这为我们学习查询计划以及优化打下了基础。希望这篇文章对读者有所帮助。

       作者介绍：马震，金蝶天燕架构师，负责中间件、大数据平台的研发，今年转向 NewSQL 领域，关注 OLTP/AP 融合，目前在推动金蝶下一代 ERP 引入 TiDB 作为数据库存储服务。