插件架构

插件架构旨在使 Kylin 在计算框架,数据源和 cube 存储方面具有可扩展性。从 v1 开始,Kylin 与作为计算框架的 Hadoop MapReduce,作为数据源的 Hive,作为存储的 HBase 紧密结合。这样的问题出现了:Kylin 可以使用 Spark 作为 cube 引擎,或者可以使用像 Cassandra 那样不同的存储。我们希望对不同的选择持开放态度,并确保 Kylin 用最好的技术堆栈进化。这就是 Kylin v2 中引入插件架构的原因。

Plugin Architecture Overview

如何运行

cube 元数据定义了 cube 所依赖的引擎,源和存储的类型。工厂模式用于构造每个依赖项的实例。适配器模式用于将部件连接在一起。

例如一个 cube 描述可能包含:

  • fact_table: SOME_HIVE_TABLE
  • engine_type: 2 (MR Engine v2)
  • storage_type: 2 (HBase Storage v2)

基于元数据,工厂创建 MR 引擎,Hive 数据源和 HBase 存储。

Plugin Architecture Factory Pattern

引擎就像一个主板,源和存储必须由输入和输出接口定义。数据源和存储必须适应接口,以便连接到引擎主板。

Plugin Architecture Adaptor Pattern

一旦上面的对象图被创建和连接,引擎就可以驱动 cube 构建过程。

插件架构的好处

  • 自由
    • Zoo 打破了,不再与 Hadoop 绑定
    • 免费使用更好的引擎或存储
  • 可扩展性
    • 接受任意输入,例如 Kafka
    • 拥抱下一代分布式平台,例如 Spark
  • 灵活性
    • 为不同的数据集选择不同的引擎