Nebula Spark Connector

Nebula Spark Connector是一个Spark连接器,提供通过Spark标准形式读写Nebula Graph数据的能力。Nebula Spark Connector由Reader和Writer两部分组成。

  • Reader

    提供一个Spark SQL接口,您可以使用该接口编程读取Nebula Graph图数据,单次读取一个点或边类型的数据,并将读取的结果组装成Spark的DataFrame。

  • Writer

    提供一个Spark SQL接口,您可以使用该接口编程将DataFrame格式的数据逐条或批量写入Nebula Graph。

更多使用说明请参见Nebula Spark Connector

适用场景

Nebula Spark Connector适用于以下场景:

  • 在不同的Nebula Graph集群之间迁移数据。

  • 在同一个Nebula Graph集群内不同图空间之间迁移数据。

  • Nebula Graph与其他数据源之间迁移数据。

优势

  • 提供多种连接配置项,如超时时间、连接重试次数、执行重试次数等。

  • 提供多种数据配置项,如写入数据时设置对应列为点ID、起始点ID、目的点ID或属性。

  • Reader支持无属性读取和全属性读取。

  • Reader支持将Nebula Graph数据读取成Graphx的VertexRD和EdgeRDD,支持非Long型点ID。

  • Nebula Spark Connector 2.0统一了SparkSQL的扩展数据源,统一采用DataSourceV2进行Nebula Graph数据扩展。