配置说明

本文介绍使用Nebula Exchange时如何修改配置文件application.conf

修改配置文件之前,建议您根据数据源复制并修改文件名称,便于区分。例如数据源为CSV文件,可以复制为csv_application.conf

配置文件的内容主要分为如下几类:

  • Spark相关配置

  • Hive配置(可选)

  • Nebula Graph相关配置

  • 点配置

  • 边配置

Spark相关配置

本文只列出部分Spark参数,更多参数请参见官方文档

参数数据类型默认值是否必须说明
spark.app.namestringNebula Exchange 2.0Spark驱动程序名称。
spark.driver.coresint1驱动程序使用的CPU核数,仅适用于集群模式。
spark.driver.maxResultSizestring1G单个Spark操作(例如collect)时,所有分区的序列化结果的总大小限制(字节为单位)。最小值为1M,0表示无限制。
spark.executor.memorystring1GSpark驱动程序使用的内存量,可以指定单位,例如512M、1G。
spark.cores.maxint16当驱动程序以“粗粒度”共享模式在独立部署集群或Mesos集群上运行时,跨集群(而非从每台计算机)请求应用程序的最大CPU核数。如果未设置,则值为Spark的独立集群管理器上的spark.deploy.defaultCores或Mesos上的infinite(所有可用的内核)。

Hive配置(可选)

如果Spark和Hive部署在不同集群,才需要配置连接Hive的参数,否则请忽略这些配置。

参数数据类型默认值是否必须说明
hive.warehousestring-HDFS中的warehouse路径。用双引号括起路径,以hdfs://开头。
hive.connectionURLstring-JDBC连接的URL。例如“jdbc:mysql://127.0.0.1:3306/hive_spark?characterEncoding=UTF-8”
hive.connectionDriverNamestring“com.mysql.jdbc.Driver”驱动名称。
hive.connectionUserNamelist[string]-连接的用户名。
hive.connectionPasswordlist[string]-用户名对应的密码。

Nebula Graph相关配置

参数数据类型默认值是否必须说明
nebula.address.graphlist[string][“127.0.0.1:9669”]所有Graph服务的地址,包括IP和端口,多个地址用英文逗号(,)分隔。格式为[“ip1:port1”,”ip2:port2”,”ip3:port3”]
nebula.address.metalist[string][“127.0.0.1:9559”]所有Meta服务的地址,包括IP和端口,多个地址用英文逗号(,)分隔。格式为[“ip1:port1”,”ip2:port2”,”ip3:port3”]
nebula.userstring-拥有Nebula Graph写权限的用户名。
nebula.pswdstring-用户名对应的密码。
nebula.spacestring-需要导入数据的的图空间名称。
nebula.path.localstring“/tmp”(TODO:coding)导入SST文件时需要设置本地SST文件路径。
nebula.path.remotestring“/sst”(TODO:coding)导入SST文件时需要设置远端SST文件路径。
nebula.path.hdfs.namenodestring“hdfs://name_node:9000”(TODO:coding)导入SST文件时需要设置HDFS的namenode。
nebula.connection.timeoutint3000Thrift连接的超时时间,单位为 ms。
nebula.connection.retryint3Thrift连接重试次数。
nebula.execution.retryint3nGQL语句执行重试次数。
nebula.error.maxint32导入过程中的最大失败次数。当失败次数达到最大值时,提交的Spark作业将自动停止。
nebula.error.outputstring/tmp/errors输出错误日志的路径。错误日志保存执行失败的nGQL语句。
nebula.rate.limitint1024导入数据时令牌桶的令牌数量限制。
nebula.rate.timeoutint1000令牌桶中拿取令牌的超时时间,单位:毫秒。

点配置

对于不同的数据源,点的配置也有所不同,有很多通用参数,也有部分特有参数,配置时需要配置通用参数和不同数据源的特有参数。

通用参数

参数数据类型默认值是否必须说明
tags.namestring-Nebula Graph中定义的标签名称。
tags.type.sourcestring-指定数据源。例如csv
tags.type.sinkstringclient指定导入方式,可选值为clientSST(暂不支持)。
tags.fieldslist[string]-属性对应的列的表头或列名。如果有表头或列名,请直接使用该名称。如果CSV文件没有表头,用[_c0, _c1, _c2]的形式表示第一列、第二列、第三列,以此类推。
tags.nebula.fieldslist[string]-Nebula Graph中定义的属性名称,顺序必须和tags.fields一一对应。例如[_c1, _c2]对应[name, age],表示第二列为属性name的值,第三列为属性age的值。
tags.vertex.fieldstring-点ID的列。例如CSV文件没有表头时,可以用_c0表示第一列的值作为点ID。
tags.batchint256单批次写入Nebula Graph的最大点数量。
tags.partitionint32Spark分片数量。

Parquet/JSON/ORC源特有参数

参数数据类型默认值是否必须说明
tags.pathstring-HDFS中点数据文件的路径。用双引号括起路径,以hdfs://开头。

CSV源特有参数

参数数据类型默认值是否必须说明
tags.pathstring-HDFS中点数据文件的路径。用双引号括起路径,以hdfs://开头。
tags.separatorstring,分隔符。默认值为英文逗号(,)。
tags.headerbooltrue文件是否有表头。

Hive源特有参数

参数数据类型默认值是否必须说明
tags.execstring-查询数据源的语句。例如select name,age from mooc.users

Neo4j源特有参数

参数数据类型默认值是否必须说明
tags.execstring-查询数据源的语句。例如match (n:label) return n.neo4j-field-0
tags.serverstring“bolt://127.0.0.1:7687”Neo4j服务器地址。
tags.userstring-拥有读取权限的Neo4j用户名。
tags.passwordstring-用户名对应密码。
tags.databasestring-Neo4j中保存源数据的数据库名。
tags.check_point_pathstring/tmp/test设置保存导入进度信息的目录,用于断点续传。如果未设置,表示不启用断点续传。

MySQL源特有参数

参数数据类型默认值是否必须说明
tags.hoststring-MySQL服务器地址。
tags.portstring-MySQL服务器端口。
tags.databasestring-数据库名称。
tags.tablestring-需要作为数据源的表名称。
tags.userstring-拥有读取权限的MySQL用户名。
tags.passwordstring-用户名对应密码。
tags.sentencestring-查询数据源的语句。例如“select teamid, name from basketball.team order by teamid;”

Hbase源特有参数

参数数据类型默认值是否必须说明
tags.hoststring127.0.0.1Hbase服务器地址。
tags.portstring2181Hbase服务器端口。
tags.tablestring-需要作为数据源的表名称。
tags.columnFamilystring-表所属的列族(column family)。

Pulsar源特有参数

参数数据类型默认值是否必须说明
tags.servicestring“pulsar://localhost:6650”Pulsar服务器地址。
tags.adminstringhttp://localhost:8081连接pulsar的admin.url。
tags.options.<topic|topics| topicsPattern>string-Pulsar的选项,可以从topictopicstopicsPattern选择一个进行配置。
tags.interval.secondsint10读取消息的间隔。单位:秒。

Kafka源特有参数

参数数据类型默认值是否必须说明
tags.servicestring-Kafka服务器地址。
tags.topicstring-消息类别。
tags.interval.secondsint10读取消息的间隔。单位:秒。

边配置

对于不同的数据源,边的配置也有所不同,有很多通用参数,也有部分特有参数,配置时需要配置通用参数和不同数据源的特有参数。

边配置的不同数据源特有参数请参见上方点配置内的特有参数介绍,注意区分tags和edges即可。

通用参数

参数数据类型默认值是否必须说明
edges.namestring-Nebula Graph中定义的边类型名称。
edges.type.sourcestring-指定数据源。例如csv
edges.type.sinkstringclient指定导入方式,可选值为clientSST(暂不支持)。
edges.fieldslist[string]-属性对应的列的表头或列名。如果有表头或列名,请直接使用该名称。如果CSV文件没有表头,用[_c0, _c1, _c2]的形式表示第一列、第二列、第三列,以此类推。
edges.nebula.fieldslist[string]-Nebula Graph中定义的属性名称,顺序必须和edges.fields一一对应。例如[_c2, _c3]对应[start_year, end_year],表示第三列为开始年份的值,第四列为结束年份的值。
edges.source.fieldstring-边的起始点的列。例如_c0表示第一列的值作为边的起始点。
edges.target.fieldstring-边的目的点的列。例如_c1表示第二列的值作为边的目的点。
edges.rankingint-rank值的列。没有指定时,默认所有rank值为0
edges.batchint256单批次写入Nebula Graph的最大边数量。
edges.partitionint32Spark分片数量。