皮皮网

1.PostgreSQL源码学习笔记(6)-查询编译
2.PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析
3.PostgreSQL历史
4.PostGis 源码安装笔记
5.PgSQL伯克利的 POSTGRES 项目
6.在Linux（centos）中使用源码安装pgRouting

PostgreSQL源码学习笔记(6)-查询编译

       查询模块是数据库与用户进行交互的模块，允许用户使用结构化查询语言(SQL)或其它高级语言在高层次上表达查询任务，书籍并将用户的源码查询命令转化成数据库上的操作序列并执行。查询处理分为查询编译与查询执行两个阶段：

       当PostgreSQL的书籍后台进程Postgres接收到查询命令后，首先传递到查询分析模块，源码进行词法，书籍python实例源码语法与语义分析。源码用户的书籍查询命令，如SELECT，源码CREATE TABLE等，书籍会被构建为原始解析树，源码然后交给查询重写模块。书籍查询重写模块根据解析树及参数执行解析分析及规则重写，源码得到查询树，书籍最后输入计划模块得到计划树。源码

       整个查询编译的函数调用流程包括查询分析、查询重写与计划生成三个阶段。查询分析涉及词法分析、语法分析与语义分析，分别由Lex与Yacc工具完成。词法分析识别输入的SQL命令中的模式，语法分析找出这些模式的组合，形成解析树。出于与用户交互的考虑，语义分析与重写放在另一个函数处理，以避免在输入语句时立即执行事务操作。Lex与Yacc是词法与语法分析工具，分别通过正则表达式解析与语法结构定义，生成用于分析的C语言代码。

       查询分析由pg_parse_query函数与pg_analyze_and_rewrite函数完成。pg_parse_query处理词法与语法分析，而语义分析与重写在pg_analyze_and_rewrite函数中进行。语义分析需要访问数据库系统表，以检查命令中的表或字段是否存在，以及聚合函数的适用性。

       查询重写核心在于规则系统，spring面试源码设置存储在pg_rewrite系统表中。规则系统由一系列重写规则组成，包括创建规则、删除规则以及利用规则进行查询重写三个操作。规则系统提供定义、删除规则以及利用规则优化查询的功能。PG中实现多种查询优化策略，包括谓语下滑、WHERE语句合并等，通过动态规划与遗传算法选择代价最小的执行方案。

       查询规划的总体过程包括预处理、生成路径和生成计划三个阶段。预处理阶段消除冗余条件、减少递归层数与简化路径生成。提升子链接与子查询是预处理中的关键步骤，通过将子查询提升至与父查询相同的优化等级，提高查询效率。提升子链接与子查询的函数包括pull_up_sublinks与pull_up_subqueries。

       在路径生成阶段，优化器检查MIN/MAX聚集函数的存在与索引条件，生成通过索引扫描获得最大值或最小值的路径。表达式预处理由preprocess_expression函数完成，包括目标链表、WHERE语句、HAVING谓语等的处理。HAVING子句的提升或保留取决于是否包含聚集条件。删除冗余信息以优化路径生成。

       生成路径的入口函数query_planner负责找到从一组基本表到最终连接表的最高效路径。路径生成算法包括动态规划与遗传算法，分别解决路径选择与状态传递问题。路径生成流程涉及make_one_rel函数，最终生成最优路径并转换为执行计划。

       在得到最优路径后，优化器根据路径生成对应的执行计划。创建计划的源码熊编程课件入口函数create_plan提供顺序扫描、采样扫描、索引扫描与TID扫描等计划生成。整理计划树函数set_plan_references负责最后的细节调整，优化执行器执行效率。代价估算考虑磁盘I/O与CPU时间，根据统计信息与查询条件估计路径代价。

       查询编译与规划是数据库性能的关键环节。PostgreSQL通过高效的查询分析、重写与规划，生成最优执行计划，显著提高查询执行效率。动态规划与遗传算法等优化策略的应用，确保了查询处理的高效与灵活性。

PostgreSQL 技术内幕（十七）：FDW 实现原理与源码解析

       FDW，全称为Foreign Data Wrapper，是PostgreSQL提供的一种访问外部数据源的机制。它允许用户通过SQL语句访问和操作位于不同数据库系统或非数据库类数据源的外部数据，就像操作本地表一样。以下是从直播内容整理的关于FDW的使用详解、实现原理以及源码解析。

       ### FDW使用详解

       FDW在一定规模的系统中尤为重要，数据仓库往往需要访问外部数据来完成分析和计算。通过FDW，用户可以实现以下场景：

       跨数据库查询：在PostgreSQL数据库中，用户可以直接请求和查询其他PostgreSQL实例，或访问MySQL、Oracle、DB2、SQL Server等主流数据库。

       数据整合：从不同数据源整合数据，如REST API、文件系统、NoSQL数据库、流式系统等。

       数据迁移：高效地将数据从旧系统迁移到新的京东破滑块源码PostgreSQL数据库中。

       实时数据访问：访问外部实时更新的数据源。

       PostgreSQL支持多种常见的FDW，能够直接访问包括远程PostgreSQL服务器、主流SQL数据库以及NoSQL数据库等多种外部数据源。

       ### FDW实现原理

       FDW的核心组件包括：

       1. **Foreign Data Wrapper (FDW)**：特定于各数据源的库，定义了如何建立与外部数据源的连接、执行查询及处理其他操作。例如，`postgres_fdw`用于连接其他PostgreSQL服务器，`mysql_fdw`专门连接MySQL数据库。

       2. **Foreign Server**：本地PostgreSQL中定义的外部服务器对象，对应实际的远程或非本地数据存储实例。

       3. **User Mapping**：为每个外部服务器设置的用户映射，明确哪些本地用户有权访问，并提供相应的认证信息。

       4. **Foreign Table**：在本地数据库创建的表结构，作为外部数据源中表的映射。对这些外部表发起的SQL查询将被转换并传递给相应的FDW，在外部数据源上执行。

       FDW的实现涉及PostgreSQL内核中的`FdwRoutine`结构体，它定义了外部数据操作的接口。接口函数包括扫描、修改、分析外部表等操作。

       ### FDW源码解析

       FDW支持多种数据类型，并以`Postgres_fdw`为例解析其源码。主要包括定义`FdwRoutine`、访问外部数据源、执行查询、插入、更新和删除操作的逻辑。

       访问外部数据源：通过`postgresBeginForeignScan`阶段初始化并获取连接到远端数据源。

       执行查询：进入`postgresIterateForeignScan`阶段，创建游标迭代器并从其中持续获取数据。

       插入操作：通过`postgresBeginForeignInsert`、江恩角度源码`postgresExecForeignInsert`和`postgresEndForeignInsert`阶段来执行插入操作。

       更新/删除操作：遵循与插入操作相似的流程，包括`postgresBeginDirectModify`、`postgresIterateDirectModify`和相应的结束阶段。

       对于更深入的技术细节，建议访问B站观看视频回放，以获取完整的FDW理解和应用指导。

PostgreSQL历史

       PostgreSQL的历史可以追溯到早期的POSTGRES，现在通常称为PostgreSQL，发音为"Post-gress-cue-ell"。它起源于伯克利的POSTGRES软件包，并在发展过程中逐渐演变成世界上最先进的开源数据库系统。这个系统以其多版本并发控制、对SQL组件的全面支持，如子查询、事务和用户自定义类型和函数，以及广泛的编程语言绑定（包括C、C++、Java、Perl、Tcl和Python）而闻名。

       在年，Andrew Yu和Jolly Chen对POSTGRES进行了重大改进，加入了SQL语言解释器，从而形成了Postgres。他们将源代码公开，使之成为开放源码项目，成为伯克利POSTGRES原始代码的继承者。Postgres的源代码全部采用ANSI C编写，并通过内部修改提高了性能和代码的维护性。在性能测试中，Postgres的1.0.x版本相比POSTGRES v4.2快了-%。

       年，为了明确区分最初的POSTGRES和使用SQL的版本，"Postgres"改名为PostgreSQL，同时版本号也从6.0重新开始，遵循最初伯克利POSTGRES项目的发展顺序。在Postgres版本的基础上，开发工作重点转到了理解并优化现有后端代码，同时在争议性特性和功能上也展开了深入研究，确保各个方面的进步同步进行。

扩展资料

       PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES，现在已经更名为POSTGRES，版本 4.2为基础的对象关系型数据库管理系统（ORDBMS）。PostgreSQL支持大部分 SQL标准并且提供了许多其他现代特性：复杂查询、外键、触发器、视图、事务完整性、MVCC。同样，PostgreSQL 可以用许多方法扩展，比如， 通过增加新的数据类型、函数、操作符、聚集函数、索引方法、过程语言。并且，因为许可证的灵活，任何人都可以以任何目的免费使用、修改、和分发 PostgreSQL，不管是私用、商用、还是学术研究使用。

PostGis 安装笔记

       本文提供了一个关于如何在CentOS 7操作系统中安装PostgreSQL .和PostGIS 2.5的详细步骤指南。整个安装过程包括用户组和用户的创建、配置文件的修改、依赖库的安装以及PostGIS的特定配置。此外，本文还讨论了在安装过程中可能遇到的问题及其解决方案。

       一、PostgreSQL安装

       首先，创建名为“postgres”的用户组和用户，使用如下命令：

       1. 创建用户组：groupadd postgres

       2. 创建用户并指定组：useradd -g postgres postgres

       3. 设置用户密码：passwd postgres

       之后，安装PostgreSQL .，操作步骤如下：

       4. 转至安装包目录：cd postgresql-.

       5. 设置安装位置（默认为/usr/local/pgsql）：./configure -prefix=/usr/local/pgsql

       6. 编译源代码：make

       7. 安装：make install

       8. 创建数据库文件存放目录：/usr/local/pgsql/data

       9. 修改所有者和所属组：chown -R postgres:postgres /usr/local/pgsql/

       . 使用postgres用户初始化数据库：su - postgres和/usr/local/pgsql/bin/initdb -E UNICODE -D /usr/local/pgsql/data

       . 修改数据库配置文件，例如更改端口和监听地址。

       二、PostGIS安装

       安装PostGIS依赖库（如Proj4、GEOS、LibXML2等），步骤类似：

       1. 对每个依赖库使用./configure、make和make install

       2. 在配置时指定PostgreSQL安装目录。

       安装PostGIS时使用特定配置，如：

       1. ./configure --with-pgconfig=/usr/local/postgres/bin/pg_config

       三、配置与问题解决

       在安装过程中，可能遇到一些问题，如加载库失败或权限不足。为解决这些问题，可以采取以下措施：

       1. 配置ldconfig以正确搜索共享库。

       2. 通过切换至root用户并修改文件权限或调整ld.so.conf文件来解决权限问题。

       3. 在配置PostGIS时提供特定路径参数以解决找不到对应路径的问题。

       最后，设置数据库登录密码使用命令：psql -p 登录后执行 ALTER USER postgres WITH PASSWORD '';。

PgSQL伯克利的 POSTGRES 项目

       POSTGRES项目由Michael Stonebraker领导，得到DARPA、ARO、NSF和ESL, Inc的共同资助，于年开始实现，最初的概念在POSTGRES设计中详细描述。最早的数据模型定义在The POSTGRES Data Model中，规则系统设计在POSTGRES规则系统的设计中，存储管理器的理论基础和体系结构在POSTGRES存储系统的设计中。

       POSTGRES经历了多次主要版本更新，第一个“演示性”系统在年可用并在年的ACM-SIGMOD大会上展出，版本1在年6月发布给外部用户使用。为回应用户对第一个规则系统的批评，规则系统重新设计，并在年6月发布版本2使用新规则系统。版本3在年出现，增加了多存储管理器的支持，并改进了查询执行器，重新编写了规则系统。随后版本的工作主要集中在移植性和可靠性上，直到Postgres发布。

       POSTGRES在研究和实际应用中得到了广泛使用，应用范围包括财务数据分析系统、喷气引擎性能监控软件包、小行星跟踪数据库、医疗信息数据库和地理信息系统。它也被许多大学用于教学目的，并被Illustra Information Technologies用于商业用途，后来并入Informix，归属IBM。在年末，POSTGRES成为Sequoia 科学计算项目的主要数据管理器。

       到了年，外部用户的数量几乎翻倍，用于源代码维护的时间增加，占用了大量本应用于数据库研究的时间。为了减少支持负担，伯克利的POSTGRES项目在版本4.2时正式终止。

扩展资料

       PostgreSQL是以加州大学伯克利分校计算机系开发的 POSTGRES 版本 4.2 为基础的对象关系型数据库管理系统（ORDBMS）。POSTGRES 领先的许多概念只是在非常迟的时候才出现在商业数据库中。

在Linux（centos）中使用源码安装pgRouting

       在Linux（centos）环境下使用源码安装pgRouting前，请先确保已阅读并安装了PostgreSQL和PostGIS。

       本文将介绍如何安装pgRouting 2.6.3版本，其源码包可从以下地址下载：

       github.com/pgRouting/pg...

       一、解压pgRouting源码包

       将下载的源码包pgrouting-2.6.3.tar.gz复制到/usr/local/src目录，并执行解压操作：

       解压完成后，将生成一个名为pgrouting-2.6.3的目录。

       二、配置PostgreSQL环境变量

       编辑/etc/profile文件，添加以下内容：

       保存并退出，然后使profile配置文件立即生效：

       三、编译源代码

       进入pgrouting-2.6.3目录，创建build新文件夹，并进入该文件夹：

       使用cmake指令编译源代码，指定pgRouting安装路径为/usr/local/pgrouting-2.6.3：

       执行make编译源代码，然后使用make install安装pgrouting-2.6.3：

       为避免pgrouting找不到CGAL动态库，将CGAL动态库路径添加到ld.so.conf文件中：

       编辑/etc/ld.so.conf，添加路径：

       使ld.so.conf文件立即生效：

       至此，pgrouting-2.6.3已成功安装。

       四、测试安装

       切换到postgres用户，启动PostgreSQL数据库（若未启动则启动），进入psql：

       连接test数据库（可创建任意名称的数据库），创建pgrouting插件：

       查看test数据库中现有的所有插件，可以发现已成功安装了postgis和pgrouting插件。

PostgreSQL基于源码安装和入门教程

       PostgreSQL 源码安装入门教程

       本文将引导您在openEuler . LTS-SP3系统上基于源码安装并配置PostgreSQL ，包括操作系统环境设置、网络配置、软件包安装、用户和数据盘创建，以及数据库的初始化、启动和管理。

       1.1 操作系统环境

       安装openEuler后，确保系统安装了bc命令（若缺失，后续会安装）。

       1.2 网络配置

       通过Nmcli配置网络，首先检查并设置网络接口ens的IP地址，无论是自动获取还是静态配置。

       1.3 更新系统与工具安装

       更新软件包并安装bc、vim、tmux和tar等工具，以支持后续操作。

       1.4 用户与数据盘创建

       创建postgres用户和用户组，以及可能的专用数据盘，如NVMe SSD，用于提高性能。

       2. 安装与配置

       2.1 下载与解压

       以root权限下载并解压PostgreSQL 的源代码压缩包。

       2.2 安装与初始化

       按照指导进行编译和安装，初始化数据库并设置启动参数。

       2.3 启动与管理

       启动数据库，登录并创建必要用户、数据库和表空间。

       3. 开机自动启动

       3.1 init.d环境

       使用start-scripts中的脚本配置init.d，确保PostgreSQL在系统启动时自动运行。

       3.2 systemd环境

       为PostgreSQL创建systemd服务文件，确保启动和管理的自动化。

       4. psql操作示例

       展示如何使用psql进行数据库操作，包括创建数据库、模式、表和数据插入等。

       5. 远程连接

       讲解如何配置防火墙以允许远程连接。

       通过以上步骤，您将掌握PostgreSQL 的源码安装和基本管理，准备好进行数据管理和应用程序开发。