Iceberg

使用限制

  1. 支持 Iceberg V1/V2 表格式。
  2. V2 格式仅支持 Position Delete 方式，不支持 Equality Delete。
  3. 目前仅支持 Hive Metastore 类型的 Catalog。所以使用方式和 Hive Catalog 基本一致。

创建 Catalog

基于Hive Metastore创建Catalog

和 Hive Catalog 基本一致，这里仅给出简单示例。其他示例可参阅 Hive Catalog。

  1. CREATE CATALOG iceberg PROPERTIES (
  2.     'type'='hms',
  3.     'hive.metastore.uris' = 'thrift://172.21.0.1:7004',
  4.     'hadoop.username' = 'hive',
  5.     'dfs.nameservices'='your-nameservice',
  6.     'dfs.ha.namenodes.your-nameservice'='nn1,nn2',
  7.     'dfs.namenode.rpc-address.your-nameservice.nn1'='172.21.0.2:4007',
  8.     'dfs.namenode.rpc-address.your-nameservice.nn2'='172.21.0.3:4007',
  9.     'dfs.client.failover.proxy.provider.your-nameservice'='org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider'
  10. );

基于Iceberg API创建Catalog

SinceVersion dev

使用Iceberg API访问元数据的方式，支持Hive、REST、Glue等服务作为Iceberg的Catalog。

  • Hive Metastore作为元数据服务
  1. CREATE CATALOG iceberg PROPERTIES (
  2.     'type'='iceberg',
  3.     'iceberg.catalog.type'='hms',
  4.     'hive.metastore.uris' = 'thrift://172.21.0.1:7004',
  5.     'hadoop.username' = 'hive',
  6.     'dfs.nameservices'='your-nameservice',
  7.     'dfs.ha.namenodes.your-nameservice'='nn1,nn2',
  8.     'dfs.namenode.rpc-address.your-nameservice.nn1'='172.21.0.2:4007',
  9.     'dfs.namenode.rpc-address.your-nameservice.nn2'='172.21.0.3:4007',
  10.     'dfs.client.failover.proxy.provider.your-nameservice'='org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider'
  11. );
  • REST Catalog作为元数据服务

该方式需要预先提供REST服务，用户需实现获取Iceberg元数据的REST接口。

  1. CREATE CATALOG iceberg PROPERTIES (
  2.     'type'='iceberg',
  3.     'iceberg.catalog.type'='rest',
  4.     'uri' = 'http://172.21.0.1:8181',
  5. );

若数据存放在S3上，properties中可以使用以下参数

  1. "AWS_ACCESS_KEY" = "ak"
  2. "AWS_SECRET_KEY" = "sk"
  3. "AWS_REGION" = "region-name"
  4. "AWS_ENDPOINT" = "http://endpoint-uri"
  5. "AWS_CREDENTIALS_PROVIDER" = "provider-class-name" // 可选，默认凭证类基于BasicAWSCredentials实现。

列类型映射

和 Hive Catalog 一致，可参阅 Hive Catalog 中 列类型映射 一节。

Time Travel

SinceVersion dev

支持读取 Iceberg 表指定的 Snapshot。

每一次对iceberg表的写操作都会产生一个新的快照。

默认情况下，读取请求只会读取最新版本的快照。

可以使用 FOR TIME AS OF 和 FOR VERSION AS OF 语句，根据快照 ID 或者快照产生的时间读取历史版本的数据。示例如下：

SELECT * FROM iceberg_tbl FOR TIME AS OF "2022-10-07 17:20:37";

SELECT * FROM iceberg_tbl FOR VERSION AS OF 868895038966572;

另外，可以使用 iceberg_meta 表函数查询指定表的 snapshot 信息。