当前位置：首页 > news >正文

深入解析 PostgreSQL 外部数据封装器（FDW）的 SELECT 查询执行机制

news 2025/5/15 9:56:42

引言

PostgreSQL 中的外部数据封装器（Foreign Data Wrapper, FDW）是一种扩展，允许您像访问 PostgreSQL 数据库中的表一样，访问和操作存储在外部数据源中的数据。FDW 使 PostgreSQL 能够与多种数据存储系统（包括关系型和非关系型）进行集成，并以统一的方式在 PostgreSQL 环境中呈现这些数据。将一个表拆分成多个位于远程的较小表的操作也称为 sharding。外部数据库节点有时被称为外部分片或简略为分片。在本文中，我们将探讨在使用 postgres_fdw 处理外部 SELECT 查询时，其内部的具体工作流程。

以下是一些背景历史：

2003 年，SQL 标准中新增了一个名为 SQL/MED（SQL 管理外部数据）的规范，该标准定义了远程访问数据库的SQL规范。
2011 年，PostgreSQL 9.1 版本发布，开始支持此标准的只读操作。
2013 年，新增了对写入操作的支持。
当前有许多不同的 FDW 可供使用，允许 PostgreSQL 连接到各种远程数据存储（包括其他关系型数据库管理系统到平面文件等）。
这些 FDW 大多数没有 PostgreSQL 全球开发组（PGDG）的官方支持，一些项目仍处于 beta 阶段。请谨慎使用！

一些与 FDW 相关的文档：

https://wiki.postgresql.org/wiki/Foreign_data_wrappers
https://pgxn.org/tag/fdw/
https://www.postgresql.org/docs/15/fdwhandler.html

配置一个简单的 FDW 环境

在配置之前，请确保已将 postgresql_fdw 扩展编译并安装到您的 PostgreSQL 二进制安装路径中。我们将配置一个由 1 个协调节点和 4 个外部数据节点组成的分片环境。

初始化所有数据库实例

$ initdb -D c1
$ initdb -D d1
$ initdb -D d2
$ initdb -D d3
$ initdb -D d4

编辑 d1 到 d4 节点的配置文件，并将它们的端口号分别更改为 5433、5434、5435、5436，同时保持 c1 节点运行在默认端口 5432。这样做的原因是我们将在同一台机器上运行所有节点以便演示。

在 C1 节点：

postgres=# CREATE EXTENSION postgres_fdw;postgres=# CREATE SERVER s1 FOREIGN DATA WRAPPER postgres_fdw OPTIONS (dbname 'postgres', host '127.0.0.1', port '5433');
postgres=# CREATE SERVER s2 FOREIGN DATA WRAPPER postgres_fdw OPTIONS (dbname 'postgres', host '127.0.0.1', port '5434');
postgres=# CREATE SERVER s3 FOREIGN DATA WRAPPER postgres_fdw OPTIONS (dbname 'postgres', host '127.0.0.1', port '5435');
postgres=# CREATE SERVER s4 FOREIGN DATA WRAPPER postgres_fdw OPTIONS (dbname 'postgres', host '127.0.0.1', port '5436');postgres=# CREATE USER MAPPING for postgres SERVER s1 OPTIONS(user 'postgres');
postgres=# CREATE USER MAPPING for postgres SERVER s2 OPTIONS(user 'postgres');
postgres=# CREATE USER MAPPING for postgres SERVER s3 OPTIONS(user 'postgres');
postgres=# CREATE USER MAPPING for postgres SERVER s4 OPTIONS(user 'postgres');postgres=# CREATE TABLE t (a INT, b TEXT) PARTITION BY RANGE;
postgres=# CREATE TABLE t_local PARTITION OF t FOR VALUES FROM (1) TO (1000);postgres=# CREATE FOREIGN TABLE t_s1 PARTITION OF t FOR VALUES FROM (1001) TO (2000) SERVER s1 OPTIONS(schema_name 'public', table_name 't');
postgres=# CREATE FOREIGN TABLE t_s2 PARTITION OF t FOR VALUES FROM (2001) TO (3000) SERVER s1 OPTIONS(schema_name 'public', table_name 't');
postgres=# CREATE FOREIGN TABLE t_s3 PARTITION OF t FOR VALUES FROM (3001) TO (4000) SERVER s1 OPTIONS(schema_name 'public', table_name 't');
postgres=# CREATE FOREIGN TABLE t_s4 PARTITION OF t FOR VALUES FROM (4001) TO (5000) SERVER s1 OPTIONS(schema_name 'public', table_name 't');

在所有数据节点：

postgres=# CREATE TABLE t (a INT, b TEXT);

到此为止，我们完成了一个简单的 postgres_fdw 设置。当数据插入到 c1 节点的 t 表时，数据可以存储在 c1 节点本地（范围 1 到 1000），也可以根据范围值分发到外部节点（d1 ~ d4）。

从外部节点查询数据

Postgres_fdw 并不会简单地转发您的 SELECT 查询并将其发送到外部节点处理，等待响应。这种方式的性能极低。与常规的 SELECT 查询一样，外部查询也需要仔细的分析和规划，以确保性能。远程查询通常包括以下几个步骤：

分析器 – 创建查询树
- 根据 pg_catalog.pg_class 和 pg_catalog.pg_foreign_table 中的外部表定义创建查询树。
连接到外部服务器
- 规划器从 pg_catalog.pg_foreign_server 和 pg_catalog.pg_user_mapping 获取网络和用户映射信息。
- 通过 FDW 连接到远程服务器。
- Postgres_fdw 使用 libpq 连接到远程 PostgreSQL 数据库。
规划
- 规划器使用 EXPLAIN 命令创建计划树。
- Postgres_fdw 支持使用 EXPLAIN 获取远程表的统计信息，但也可以使用本地默认值。
- EXPLAIN 返回远程服务器的启动成本和总成本，允许规划器准确评估语句。
- use_remote_estimate 参数可以通过 ALTER SERVER 修改（默认关闭）。
反解析
- 规划器生成的计划树通过 FDW 获取了远程服务器的扫描路径。
- Postgres_fdw 负责解析计划树并重构一组适合远程服务器的 SQL 语句。
扩展查询协议 + 游标
- Postgres_fdw 使用扩展查询协议，并借助游标从远程节点检索或获取数据。
- 它使用可重复读的隔离级别，以确保在事务期间数据的一致性，不会被其他并发事务更改。