[experimental] MaterializedPostgreSQL

使用PostgreSQL数据库表的初始数据转储创建ClickHouse数据库,并启动复制过程,即执行后台作业,以便在远程PostgreSQL数据库中的PostgreSQL数据库表上发生新更改时应用这些更改。

ClickHouse服务器作为PostgreSQL副本工作。它读取WAL并执行DML查询。DDL不是复制的,但可以处理(如下所述)。

创建数据库

  1. CREATE DATABASE [IF NOT EXISTS] db_name [ON CLUSTER cluster]
  2. ENGINE = MaterializedPostgreSQL('host:port', ['database' | database], 'user', 'password') [SETTINGS ...]

Engine参数

  • host:port — PostgreSQL服务地址
  • database — PostgreSQL数据库名
  • user — PostgreSQL用户名
  • password — 用户密码

设置

  1. CREATE DATABASE database1
  2. ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password')
  3. SETTINGS materialized_postgresql_max_block_size = 65536,
  4. materialized_postgresql_tables_list = 'table1,table2,table3';
  5. SELECT * FROM database1.table1;

必备条件

  • 在postgresql配置文件中将wal_level设置为logical,将max_replication_slots设置为2

  • 每个复制表必须具有以下一个replica identity:

  1. default (主键)

  2. index

  1. postgres# CREATE TABLE postgres_table (a Integer NOT NULL, b Integer, c Integer NOT NULL, d Integer, e Integer NOT NULL);
  2. postgres# CREATE unique INDEX postgres_table_index on postgres_table(a, c, e);
  3. postgres# ALTER TABLE postgres_table REPLICA IDENTITY USING INDEX postgres_table_index;

总是先检查主键。如果不存在,则检查索引(定义为副本标识索引)。
如果使用index作为副本标识,则表中必须只有一个这样的索引。
你可以用下面的命令来检查一个特定的表使用了什么类型:

  1. postgres# SELECT CASE relreplident
  2. WHEN 'd' THEN 'default'
  3. WHEN 'n' THEN 'nothing'
  4. WHEN 'f' THEN 'full'
  5. WHEN 'i' THEN 'index'
  6. END AS replica_identity
  7. FROM pg_class
  8. WHERE oid = 'postgres_table'::regclass;

注意

  1. TOAST不支持值转换。将使用数据类型的默认值。

使用示例

  1. CREATE DATABASE postgresql_db
  2. ENGINE = MaterializedPostgreSQL('postgres1:5432', 'postgres_database', 'postgres_user', 'postgres_password');
  3. SELECT * FROM postgresql_db.postgres_table;