Release 1.3.0 (2021年6月30日)

关键特性

分类描述PR #s
Task RecoveryTask recovery 功能上没有变化,修复了bug,增强了功能的稳定性。兼容spill-to-disk特性。812,813,837,
838,842,843,
847,863,868,
874,875,885,
889,891,901,
906,917,930,
932
CTE (公共表表达式)在1.2.0 CTE的基础上进行额外优化。增加了基于成本的决策,以决定是否启用CTE。支持将动态过滤器和谓词下推到CTE节点。722,811,815,
876,921,927
DM (数据管理)进一步改进了DM(Data Management)操作的性能。提供性能调优参数:
- metastore -client-service-threads: 通过使用多个客户端发送/接收请求,支持并发操作Hive Metastore。
- metastore -write-bach-size: 打包每次调用包含的多个操作对象,减少Hive metastore之间的数据往来耗时。
888
Star Tree 索引1. Star Tree Cube现在支持高达10 Billion基数。
2. 更新openLooKeng CLI,以改善cube管理体验。用户可以发单个sql语句来创建和填充cube数据集中的数据,而不是多个sql语句。CLI的优化有助于避免查询超出群集内存限制的问题。
3. 问题修复:
a. 将连续范围合并为单个范围,以便可以利用Cube
b. Count distinct问题–在Cube插入过程中支持过滤源数据。
834,867,890,
902,907
CBO支持排序聚合器(Sorted Source Aggregator)

在输入源为预先排好序的情况下,增加了对排序聚合器的支持。这样相比哈希聚合器能够减少大量内存使用,并可以在部分聚合阶段(partial aggregation stage)确定大部分的计算结果,从而减少下一个计划阶段的最终聚合负载。

openLooKeng优化器会根据给定查询的代价估计值(CBO),在排序聚合器(Sort Aggregator)和哈希聚合器(Hash Aggregator)之间进行选择。
855,905,906
Hudi 连接器支持Hudi COW数据表的快照查询; 支持Hudi MOR数据表的快照查询和读优化查询。881,900
GreenPlum 连接器支持对GreenPlum数据源的基本读和写操作。不支持删除和更新。689
Oracle 连接器Oracle连接器支持Update、Delete操作。897
ClickHouse 连接器支持对ClickHouse数据源的基本读和写操作。支持SQL query pushdown 和 external Functions 的注册和下推能力。920
JDBC 连接器单表查询支持多分片,通过提高并发来提升性能。939
Hive 连接器Hive Connector 的Hive 依赖包从3.0.0升级到3.1.2,并修复升级所带来的timestamp 格式兼容问题。903
Memory 连接器通过hetuMetastore持久化内存表的元数据信息;新的数据布局以支持排序和索引,提高数据查询性能;排序和索引的异步执行;数据下盘管理。914
Resource增强的资源组,支持根据资源使用情况和用户配置限制来调度或终止查询。779,821,822,
836

已知问题

分类描述Gitee问题
Task Recovery当执行CTAS语句创建事务表并插入数据时,显示错误消息:“Unsuccessful query retry”。I3YF45
当节点内存不足时,查询可能会挂起。I3YF4O
当开启snapshot,并在执行到stage 1的时候出现异常,会导致计算结果翻倍。I3YF4V

获取文档

请参考: https://gitee.com/openlookeng/hetu-core/tree/1.3.0/hetu-docs/zh