标签：postgresql postgres -- SELECT fdw 服务器 远程 第四章 tbl
2003年，在SQL标准中增加了一个访问远程数据的规范，称为SQL外部数据管理(SQL/MED)。自9.1版本以来，PostgreSQL开发了FDW，实现了SQL/MED的一部分特性。
在SQL/MED中，远程服务器上的表称为外部表。PostgreSQL 的外部数据包装器(Foreign Data Wrappers，FDW)使用与本地表类似的方式，通过SQL/MED来管理外部表。
图1：FDW的基本概念
安装必要的插件并进行适当的设置后, 您可以访问远程服务器上的外部表。例如, 假设有两个远程服务, 分别是 postgresql 和 mysql, 它们分别 foreign_pg_tbl表和foreign_my_tbl表。这个例子中, 您可以通过发出 SELECT 查询来访问本地服务器上的外部表, 如下所示。
localdb=# -- foreign_pg_tbl is on the remote postgresql server.
localdb-# SELECT count(*) FROM foreign_pg_tbl;
count
-------
20000
localdb=# -- foreign_my_tbl is on the remote mysql server.
localdb-# SELECT count(*) FROM foreign_my_tbl;
count
-------
10000
此外, 还可以执行连接操作，类似操作本地表一样的操作这些外部表。
localdb=# SELECT count(*) FROM foreign_pg_tbl AS p, foreign_my_tbl AS m WHERE p.id = m.id;
count
-------
10000
许多FDW插件已经开发并在Postgres wiki中列出。尽管, 几乎所有插件都没有得到好的维护, 但 postgres_fdw 除外, 该插件是由 PostgreSQL 全球开发组正式开发和维护的, 作为访问远程 PostgreSQL 服务器的扩展。
概览
要使用 FDW 功能, 您需要安装相应的扩展并执行相关的命令，CREATE FOREIGN TABLE, CREATE SERVER和CREATE USER MAPPING (更加详细的描述请参考官方文档)。
执行完创建相关的命令后, 在执行查询处理的过程中，会调用插件中定义的函数以访问外部表。
(1) analyzer/analyser创建输入 SQL的查询树。
(2) 规划器 (或执行器) 连接到远程 server。
(3) 如果use_remote_estimate选项处于打开状态 (默认值为关闭)，规划器执行EXPLAIN命令, 以估算每个计划路径的成本。
(4) 规划器从计划树中创建纯文本 SQL 语句, 该语句在内部称为deparesing。
(5) 执行器将纯文本 SQL 语句发送到远程服务器并接收结果。
然后, 执行器在必要时处理接收到的数据。例如, 如果执行多表查询, 则执行器将执行处理完的数据和其他表的连接。
以下各节介绍了每个处理的详细信息。
创建查询树
analyzer/analyser使用外部表的定义创建输入SQL的查询树,在使用CREATE FOREIGN TABLE或IMPORT FOREIGN SCHEMA命令时， 这些表的相关信息存储在了pg_catalog.pg_class和pg_catalog.pg_foreign_table中.
连接远程服务器
要连接到远程服务器, 规划器 (或执行器) 使用特定库连接到远程数据库服务器。例如, 要连接到远程PostgreSQL服务器, postgres_fdw使用 libpq。要连接到 mysql 服务器, 则使用由interpriseDB开发的mysql_fdw,mysql_fdw使用libmysqlclient库。
连接参数 (如用户名、服务器IP地址和端口号) ，在执行CREATE USER MAPPING和CREATE SERVER命令后，存储在pg_catalog.pg_user_mapping和pg_catalog.pg_foreign_server
使用EXPLAIN命令创建一棵计划树 (可选)
PostgreSQL的FDW支持获取外部表的统计信息来估算查询的计划树, 这些值被一些FDW扩展使用, 如 postgres_fdw、mysql_fdw、tds_fdw和 jdbc2_fdw。
如果在使用ALTER_SERVER时，use_remote_estimate的值设为on，则规划器通过执行EXPLAIN向远程服务器获取查询计划的成本;否则, 默认情况使用嵌入的常量值。
localdb=# ALTER SERVER remote_server_name OPTIONS (use_remote_estimate 'on');
虽然某些扩展使用 EXPLAIN 命令的值, 但只有postgres fdw 才能反映 EXPLAIN 命令的结果, 因为PostgreSQL的EXPLAIN命令同时返回启动和总成本。
其他DBMS fdw扩展无法使用 EXPLAIN 命令的结果进行规划。例如, mysql的 EXPLAIN 命令只返回评估的行数;但是, PostgreSQL 的规划器需要更多的信息来估算第3章中所述的成本。
Deparesing
若要生成计划树, 规划器将从外部表的计划树扫描路径创建纯文本 SQL语句。例如, 图3 显示了以下 SELECT 语句的计划树。
localdb=# SELECT * FROM tbl_a AS a WHERE a.id < 10;
图3 显示了从 PlannedStmt的计划树链接的 “外部扫描” 节点,存储了SELECT纯文本。在这里, postgres_fdw通过语法分析和语义分析创建的查询树中重新创建了一个纯SELECT文本, 该文本在 PostgreSQL 中称为 “deparesing”。
使用mysql_fdw从查询树中重新创建MySQL的SELECT文本。使用redis_fdw 或rw_redis_fdw创建一个SELECT命令。
发送 SQL 语句和接收结果
在deparesing之后，执行器将deparsed SQL语句发送到远程服务器并接收结果。
将 SQL 语句发送到远程服务器的方法取决于每个扩展的开发人员。例如, mysql_fdw 在不使用事务的情况下发送 SQL 语句。下面显示了在 mysql_fdw 中执行 SELECT 查询的 SQL 语句的典型顺序 (图 4)。
(5-1) 设置 SQL_MODE为 ‘ANSI_QUOTES’。
(5-2) 发送SELECT语句到远程服务。
(5-3)从远程服务接受结果。
在这里，mysql_fdw将结果转换为PostgreSQL的可读数据。
所有FDW扩展都实现了将结果转换为PostgreSQL可读数据的功能。
在postgres_fdw中，SQL命令的顺序很复杂。在postgres_fdw中执行SELECT查询的典型SQL语句序列如下所示（图4.5）
(5-1)开始一个远程事物
默认的远程事务隔离级别是REPEATABLE READ;如果本地事务的隔离级别设置为SERIALIZABLE，则远程事务也会设置为SERIALIZABLE。
(5-2)-(5-4) 声明一个游标
SQL语句基本上作为游标执行
(5-5)执行FETCH命令获取结果
默认，FETCH命令获取100行
(5-6) 从远端服务接受结果
(5-7) 关闭游标
(5-8) 提交远程事物
找到远程服务器的实际日志如下所示
LOG: statement: START TRANSACTION ISOLATION LEVEL REPEATABLE READ
LOG: parse : DECLARE c1 CURSOR FOR SELECT id, data FROM public.tbl_a WHERE ((id < 10))
LOG: bind : DECLARE c1 CURSOR FOR SELECT id, data FROM public.tbl_a WHERE ((id < 10))
LOG: execute : DECLARE c1 CURSOR FOR SELECT id, data FROM public.tbl_a WHERE ((id < 10))
LOG: statement: FETCH 100 FROM c1
LOG: statement: CLOSE c1
LOG: statement: COMMIT TRANSACTION
postgres_fdw中的默认远程事务隔离级别
官方文档中提供了有关默认远程事务隔离级别为REPEATABLE READ的原因的说明：
当本地事务使用SERIALIZABLE隔离级别时，远程事务也使用SERIALIZABLE隔离级别;否则它使用REPEATABLE READ隔离级别。此选择可确保在远程服务器上执行多表扫描查询，它将为所有扫描获得一致性快照的结果。结果是，一个事务中连续发出相同的查询，也会看到来自远程服务器的相同的数据，即使在远程服务器上有其他活动事物发生的并发更新。
Postgres_fdw扩展如何执行
postgres_fdw扩展是一个特殊的模块，由PostgreSQL全球开发小组正式维护，其源代码包含在PostgreSQL源代码树中。
postgres_fdw逐渐得到改善。表1列出了官方文档中与postgres_fdw相关的发行说明。
表1：与postgres_fdw有关的发行说明（引自官方文件）
| 版本 | 描述 |
|---|---|
| 9.3 | postgres_fdw模块已发布。 |
| 9.6 | 考虑在远程服务器上执行排序。考虑在远程服务器上执行联接。如果可行，在远程服务器上完全执行UPDATE或DELETE。允许将获取大小设置为服务器或表选项。 |
| 10 | 如果可能，将聚合功能推送到远程服务器。 |
| 11 | 允许将聚合下推到作为分区的外部表中。允许使用与外部服务器的连接来推送UPDATE和DELETE。 |
| 12 | 在更多情况下，允许推送ORDER BY排序和LIMIT子句。 |
鉴于前一节描述了postgres_fdw如何处理单表查询，以下章节将介绍postgres_fdw如何处理多表查询，排序操作和聚合函数。
本小节重点介绍SELECT语句；但是，postgres_fdw还可以处理其他DML语句（INSERT，UPDATE和DELETE），如下所示。
PostgreSQL的FDW没有检测到死锁
postgres_fdw和FDW功能不支持分布式锁管理器和分布式死锁检测功能。因此，很容易发生死锁。例如，如果在Client_A中更新本地表’tbl_local’和外部表’tbl_remote’，在Client_B中更新’tbl_remote’和’tbl_local’，则这两个事务处于死锁但PostgreSQL无法检测到。因此，无法提交这些事物。
localdb=# -- Client A
localdb=# BEGIN;
BEGIN
localdb=# UPDATE tbl_local SET data = 0 WHERE id = 1;
UPDATE 1
localdb=# UPDATE tbl_remote SET data = 0 WHERE id = 1;
UPDATE 1
localdb=# -- Client B
localdb=# BEGIN;
BEGIN
localdb=# UPDATE tbl_remote SET data = 0 WHERE id = 1;
UPDATE 1
localdb=# UPDATE tbl_local SET data = 0 WHERE id = 1;
UPDATE 1
多表查询
要执行多表查询，postgres_fdw使用单表SELECT语句获取每个外部表，然后在本地服务器上将它们连接起来。
在9.5或更早版本中，即使外部表存储在同一个远程服务器中，postgres_fdw也会分别获取它们并连接它们。
在版本9.6或更高版本中，postgres_fdw得到改进，并且当外部表都同一服务器上时,而且use_remote_estimate选项打开时，可以在远程服务器上执行远程连接操作。
排序操作
在9.5或更早版本中，在本地服务器上处理排序操作（例如ORDER BY），即本地服务器在排序操作之前从远程服务器获取所有目标行。
在版本9.6或更高版本中，postgres_fdw尽可能的在远程服务器上使用ORDER BY子句执行SELECT语句。
聚合函数
在版本9.6或更早版本中，类似于前一小节中提到的排序操作，AVG()和cont() 等聚合函数将在本地服务器上处理。
在版本10或更高版本中，postgres_fdw将尽可能的在远程服务器上执行带有聚合函数的SELECT语句。
整理自：
https://www.interdb.jp/pg/pgsql04.html
标签：postgresql,postgres,--,SELECT,fdw,服务器,远程,第四章,tbl 来源： https://blog.csdn.net/hmxz2nn/article/details/117069094
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。