后端编译

编译环境要求： 必须 JDK8 以上，Oracle/Sun 和 OpenJDK都支持。

请注意：官方推荐使用 Hadoop-2.7.2、Hive-1.2.1、Spark-2.4.3 和 Scala-2.11.12 对 Linkis 进行编译。

如果您想使用 Hadoop、Hive、Spark 的其他版本对 Linkis 进行编译，请参考：如何修改Linkis的依赖的Hadoop、Hive、Spark版本

后端编译 - 图1注意

因为mysql-connector-java驱动是GPL2.0协议，不满足Apache开源协议关于license的政策，因此从1.0.3版本开始，对mysql-connector-java的依赖项作用域scope默认是test，若自行编译，可以修改顶级pom.xml的mysql-connector-java依赖的scope作用域（注释掉即可）

  1. <dependency>
  2.     <groupId>mysql</groupId>
  3.     <artifactId>mysql-connector-java</artifactId>
  4.     <version>${mysql.connector.version}</version>
  5.     <!--<scope>test</scope>-->
  6. </dependency>

如果您是本地第一次编译使用，必须在 Linkis 源码工程的根目录先执行以下命令：

  1.     cd linkis-x.x.x
  2.     mvn -N  install

在 Linkis 源码包根目录执行以下命令:

  1.     cd linkis-x.x.x
  2.     mvn clean install

编译后的完整安装包，在工程的linkis-dist->target目录下：

  1.     #详细路径如下
  2.     linkis-x.x.x/linkis-dist/target/apache-linkis-x.x.x-incubating-bin.tar.gz

有些场景可能只需要针对某个模块进行编译，可参考如下流程

后端编译 - 图2注意

如有没有执行过全量编译，先要进行一次全量编译

进入到对应模块进行编译，比如想重新编译 Entrance，命令如下：

  1.     cd linkis-x.x.x/linkis-computation-governance/linkis-entrance
  2.     mvn clean install

获取安装包，在对应模块的->target目录下会有编译好的包：

  1.     ls linkis-x.x.x/linkis-computation-governance/linkis-entrance/target/linkis-entrance.x.x.x.jar

有些场景可能只需要针对某个引擎进行编译，可参考如下流程

后端编译 - 图3注意

如有没有执行过全量编译，先要进行一次全量编译

这里以编译Spark 引擎为例：

进入到 Spark 引擎所在的目录进行编译打包，命令如下：

  1.     cd linkis-x.x.x/linkis-engineconn-plugins/spark
  2.     mvn clean install

在对应模块的target目录下：

  1.    #spark文件下就是编译好的引擎物料
  2.    linkis-x.x.x/linkis-engineconn-plugins/spark/target/out/spark

如何单独安装 Spark 引擎？请参考 Linkis 引擎插件安装文档

默认打包配置中linkis-dist/src/main/assembly/distribution.xml，只会将spark/hive/python/shell打包到安装包中，如果需要添加其它引擎，可参考此步骤

以jdbc引擎为例

step1 修改linkis-dist/src/main/assembly/distribution.xml 添加jdbc引擎

  1.  <!--jdbc-->
  2.     <fileSet>
  3.       <directory>
  4.         ../../linkis-engineconn-plugins/jdbc/target/out/
  5.       </directory>
  6.       <outputDirectory>lib/linkis-engineconn-plugins/</outputDirectory>
  7.       <includes>
  8.         <include>**/*</include>
  9.       </includes>
  10. </fileSet>

step2 如果已经全量编译，可以直接重新编译linkis-dist模块，如果没有，这执行全量编译

可使用mvn指令中的-pl选项，详情可参考如下

  1. -pl,--projects <arg>                   Comma-delimited list of specified
  2.                                         reactor projects to build instead
  3.                                         of all projects. A project can be
  4.                                         specified by [groupId]:artifactId
  5.                                         or by its relative path.

通过!实现反选，从而排除指定的引擎，缩短全量编译所需时间，以flink、sqoop和hive为例，跳过这些引擎进行编译:

  1. mvn clean install -Dmaven.test.skip=true \
  2. -pl '!linkis-engineconn-plugins/flink,!linkis-engineconn-plugins/sqoop,!linkis-engineconn-plugins/hive'

请注意：Hadoop 作为大数据基础服务，Linkis 必须依赖 Hadoop 进行编译； 而 Spark、Hive等计算存储引擎则不然，如果您不想使用某个引擎，可以无需设置该引擎的版本，无需编译该引擎插件。

具体而言，修改 Hadoop 的版本与 Spark、Hive 等计算引擎的方式不同，下面详细介绍：

进入 Linkis 源码包根目录，手动修改 pom.xml 文件的 Hadoop 版本信息，具体如下：

  1.     cd linkis-x.x.x
  2.     vim pom.xml
  1.     <properties>
  3.         <hadoop.version>2.7.2</hadoop.version> <!--> 在这里修改Hadoop版本号 <-->
  4.         <scala.version>2.11.12</scala.version>
  5.         <jdk.compile.version>1.8</jdk.compile.version>
  7.     </properties>

后端编译 - 图4注意

请注意：如果你的hadoop版本是hadoop3，需要修改linkis-hadoop-common的pom文件

因为在hadoop2.8以下的时候，hdfs相关的class是在hadoop-hdfs模块中的，但是在hadoop 3.X中将对应的class移动到了模块hadoop-hdfs-client当中，您需要修改下这个文件：

pom:Linkis/linkis-commons/linkis-hadoop-common/pom.xml 修改依赖hadoop-hdfs为hadoop-hdfs-client：

  1.  <dependency>
  2.         <groupId>org.apache.hadoop</groupId>
  3.         <artifactId>hadoop-hdfs</artifactId>  <!-- 只需要将该行替换即可，替换为 <artifactId>hadoop-hdfs-client</artifactId>-->
  4.         <version>${hadoop.version}</version>
  5. </dependency>
  6.  将hadoop-hdfs修改为：
  7.  <dependency>
  8.         <groupId>org.apache.hadoop</groupId>
  9.         <artifactId>hadoop-hdfs-client</artifactId>
  10.         <version>${hadoop.version}</version>
  11. </dependency>

这里以修改 Spark 的版本为例进行介绍。进入 Spark 引擎所在的目录，手动修改 pom.xml 文件的 Spark 版本信息，具体如下：

  1.     cd linkis-x.x.x/linkis-engineconn-plugins/spark
  2.     vim pom.xml
  1.     <properties>
  2.         <spark.version>2.4.3</spark.version>  <!--> 在这里修改Spark版本号 <-->  
  3.     </properties>

修改其他引擎的版本与修改 Spark 版本类似，先进入相关引擎所在的目录，手动修改 pom.xml 文件的引擎版本信息即可。

然后请参考 编译某个引擎