Nebula Algorithm

Nebula Algorithm (简称Algorithm)是一款基于GraphX的Spark应用程序,通过提交Spark任务的形式使用完整的算法工具对Nebula Graph数据库中的数据执行图计算,也可以通过编程形式调用lib库下的算法针对DataFrame执行图计算。

前提条件

在使用 Algorithm 之前,用户需要确认以下信息:

  • Nebula Graph 服务已经部署并启动。详细信息,参考Nebula Graph安装部署

  • Spark 版本为 2.4.x 。

  • (可选)如果用户需要在Github中克隆最新的Algorithm,并自行编译打包,可以选择安装Maven

使用限制

点ID的数据必须为整数,即点ID可以是INT类型,或者是String类型但数据本身为整数。

对于非整数的String类型数据,推荐使用调用算法接口的方式,可以使用SparkSQL的dense_rank函数进行编码,将String类型转换为Long类型。

支持算法

Nebula Algorithm支持的图计算算法如下。

算法名说明应用场景
PageRank页面排序网页排序、重点节点挖掘
Louvain社区发现社团挖掘、层次化聚类
KCoreK核社区发现、金融风控
LabelPropagation标签传播资讯传播、广告推荐、社区发现
ConnectedComponent联通分量社区发现、孤岛发现
StronglyConnectedComponent强联通分量社区发现
ShortestPath最短路径路径规划、网络规划
TriangleCount三角形计数网络结构分析
BetweennessCentrality介数中心性关键节点挖掘,节点影响力计算
DegreeStatic度统计图结构分析

实现方法

Nebula Algorithm实现图计算的流程如下:

  1. 利用Nebula Spark Connector从Nebula Graph数据库中读取图数据为DataFrame。

  2. 将DataFrame转换为GraphX的图。

  3. 调用GraphX提供的图算法(例如PageRank)或者自行实现的算法(例如Louvain社区发现)。

详细的实现方法可以参见相关Scala文件

获取Nebula Algorithm

编译打包

  1. 克隆仓库nebula-spark-utils

    1. $ git clone -b v2.5 https://github.com/vesoft-inc/nebula-spark-utils.git
  2. 进入目录nebula-algorithm

    1. $ cd nebula-spark-utils/nebula-algorithm
  3. 编译打包。

    1. $ mvn clean package -Dgpg.skip -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

编译完成后,在目录nebula-algorithm/target下生成类似文件nebula-algorithm-2.5.0.jar

Maven远程仓库下载

下载地址

使用方法

调用算法接口(推荐)

lib库中提供了10种常用图计算算法,用户可以通过编程调用的形式调用算法。

  1. 在文件pom.xml中添加依赖。

    1. <dependency>
    2. <groupId>com.vesoft</groupId>
    3. <artifactId>nebula-algorithm</artifactId>
    4. <version>2.5.0</version>
    5. </dependency>
  2. 传入参数调用算法(以PageRank为例)。更多算法请参见测试用例

    1. val prConfig = new PRConfig(5, 1.0)
    2. val louvainResult = PageRankAlgo.apply(spark, data, prConfig, false)

直接提交算法包

  1. 设置配置文件

    ``` {

    1. # Spark相关配置
    2. spark: {
    3. app: {
    4. name: LPA
    5. # Spark分片数量
    6. partitionNum:100
    7. }
    8. master:local
    9. }
    10. data: {
    11. # 数据源,可选值为nebula、csv、json。
    12. source: nebula
    13. # 数据落库,即图计算的结果写入的目标,可选值为nebula、csv、json。
    14. sink: nebula
    15. # 算法是否需要权重。
    16. hasWeight: false
    17. }
    18. # Nebula Graph相关配置
    19. nebula: {
    20. # 数据源。Nebula Graph作为图计算的数据源时,nebula.read的配置才生效。
    21. read: {
    22. # 所有Meta服务的IP地址和端口,多个地址用英文逗号(,)分隔。格式: "ip1:port1,ip2:port2"。
    23. # 使用docker-compose部署,端口需要填写docker-compose映射到外部的端口
    24. # 可以用`docker-compose ps`查看
    25. metaAddress: "192.168.*.10:9559"
    26. # Nebula Graph图空间名称
    27. space: basketballplayer
    28. # Nebula Graph Edge type, 多个labels时,多个边的数据将合并。
    29. labels: ["serve"]
    30. # Nebula Graph每个Edge type的属性名称,此属性将作为算法的权重列,请确保和Edge type对应。
    31. weightCols: ["start_year"]
    32. }
    33. # 数据落库。图计算结果落库到Nebula Graph时,nebula.write的配置才生效。
    34. write:{
    35. # Graph服务的IP地址和端口, 多个地址用英文逗号(,)分隔。格式: "ip1:port1,ip2:port2"。
    36. # 使用docker-compose部署,端口需要填写docker-compose映射到外部的端口
    37. # 可以用`docker-compose ps`查看
    38. graphAddress: "192.168.*.11:9669"
    39. # 所有Meta服务的IP地址和端口,多个地址用英文逗号(,)分隔。格式: "ip1:port1,ip2:port2"。
    40. # 使用docker-compose部署,端口需要填写docker-compose映射到外部的端口
    41. # 可以用`docker-compose ps`查看
    42. metaAddress: "192.168.*.12:9559"
    43. user:root
    44. pswd:nebula
    45. # 在提交图计算任务之前需要自行创建图空间及Tag
    46. # Nebula Graph图空间名称
    47. space:nb
    48. # Nebula Graph Tag名称,图计算结果会写入该Tag。Tag中的属性名称固定如下:
    49. # PageRank:pagerank
    50. # Louvain:louvain
    51. # ConnectedComponent:cc
    52. # StronglyConnectedComponent:scc
    53. # LabelPropagation:lpa
    54. # ShortestPath:shortestpath
    55. # DegreeStatic:degree、inDegree、outDegree
    56. # KCore:kcore
    57. # TriangleCount:tranglecpunt
    58. # BetweennessCentrality:betweennedss
    59. tag:pagerank
    60. }
    61. }
    62. local: {
    63. # 数据源。图计算的数据源为csv文件或json文件时,local.read的配置才生效。
    64. read:{
    65. filePath: "hdfs://127.0.0.1:9000/edge/work_for.csv"
    66. # 如果CSV文件没有表头,使用[_c0, _c1, _c2, ..., _cn]表示其表头,有表头或者是json文件时,直接使用表头名称即可。
    67. # 起始点ID列的表头。
    68. srcId:"_c0"
    69. # 目的点ID列的表头。
    70. dstId:"_c1"
    71. # 权重列的表头
    72. weight: "_c2"
    73. # csv文件是否有表头
    74. header: false
    75. # csv文件的分隔符
    76. delimiter:","
    77. }
    78. # 数据落库。图计算结果落库到csv文件或text文件时,local.write的配置才生效。
    79. write:{
    80. resultPath:/tmp/
    81. }
    82. }
  1. algorithm: {
  2. # 需要执行的算法,可选值为:pagerank、louvain、connectedcomponent、
  3. # labelpropagation、shortestpaths、degreestatic、kcore、
  4. # stronglyconnectedcomponent、trianglecount、betweenness
  5. executeAlgo: pagerank
  6. # PageRank参数
  7. pagerank: {
  8. maxIter: 10
  9. resetProb: 0.15 # 默认为0.15
  10. }
  11. # Louvain参数
  12. louvain: {
  13. maxIter: 20
  14. internalIter: 10
  15. tol: 0.5
  16. }
  17. # ConnectedComponent/StronglyConnectedComponent参数
  18. connectedcomponent: {
  19. maxIter: 20
  20. }
  21. # LabelPropagation参数
  22. labelpropagation: {
  23. maxIter: 20
  24. }
  25. # ShortestPath参数
  26. shortestpaths: {
  27. # several vertices to compute the shortest path to all vertices.
  28. landmarks: "1"
  29. }
  30. # DegreeStatic参数
  31. degreestatic: {}
  32. # KCore参数
  33. kcore:{
  34. maxIter:10
  35. degree:1
  36. }
  37. # TriangleCount参数
  38. trianglecount:{}
  39. # BetweennessCentrality参数
  40. betweenness:{
  41. maxIter:5
  42. }
  43. }
  44. }
  45. ```
  1. 提交图计算任务。

    1. ${SPARK_HOME}/bin/spark-submit --master <mode> --class com.vesoft.nebula.algorithm.Main <nebula-algorithm-2.0.0.jar_path> -p <application.conf_path>

    示例:

    1. ${SPARK_HOME}/bin/spark-submit --master "local" --class com.vesoft.nebula.algorithm.Main /root/nebula-spark-utils/nebula-algorithm/target/nebula-algorithm-2.0.0.jar -p /root/nebula-spark-utils/nebula-algorithm/src/main/resources/application.conf

视频