ARM64 + KylinOS 编译运行 Doris

本文档介绍如何在 ARM64 平台上编译 Doris。

注意，该文档仅作为指导性文档。在不同环境中编译可能出现其他错误。

软硬件环境

  1. KylinOS 版本：

    1. $> cat /etc/.kyinfo
    2. name=Kylin-Server
    3. milestone=10-SP1-Release-Build04-20200711
    4. arch=arm64
    5. beta=False
    6. time=2020-07-11 17:16:54
    7. dist_id=Kylin-Server-10-SP1-Release-Build04-20200711-arm64-2020-07-11 17:16:54

  2. CPU型号

    1. $> cat /proc/cpuinfo
    2. model name  : Phytium,FT-2000+/64

  3. Doris 版本

    commit 68bab73

编译工具安装（无网络）

示例中，所有工具安装在在 /home/doris/tools/installed/ 目录下。

所需安装包请先在有网络情况下获取。

1. 安装gcc10

下载 gcc-10.1.0

  1. wget https://mirrors.tuna.tsinghua.edu.cn/gnu/gcc/gcc-10.1.0/gcc-10.1.0.tar.gz

解压后，在 contrib/download_prerequisites 查看依赖并下载：

  1. http://gcc.gnu.org/pub/gcc/infrastructure/gmp-6.1.0.tar.bz2
  2. http://gcc.gnu.org/pub/gcc/infrastructure/mpfr-3.1.4.tar.bz2
  3. http://gcc.gnu.org/pub/gcc/infrastructure/mpc-1.0.3.tar.gz
  4. http://gcc.gnu.org/pub/gcc/infrastructure/isl-0.18.tar.bz2

解压这四个依赖，然后移动到 gcc-10.1.0 源码目录下，并重命名为 gmp、isl、mpc、mpfr。

下载并安装 automake-1.15（因为gcc10编译过程中会查找automake 1.15 版本）

  1. https://ftp.gnu.org/gnu/automake/automake-1.15.tar.gz
  2. tar xzf automake-1.15.tar.gz
  3. ./configure --prefix=/home/doris/tools/installed
  4. make && make install
  5. export PATH=/home/doris/tools/installed/bin:$PATH

编译GCC10:

  1. cd gcc-10.1.0
  2. ./configure --prefix=/home/doris/tools/installed
  3. make -j && make install

编译时间较长。

2. 安装其他编译组件

  1. jdk-8u291-linux-aarch64.tar.gz

    https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

    无需编译，开箱即用。

  2. cmake-3.19.8-Linux-aarch64.tar.gz

    https://cmake.org/download/

    无需编译，开箱即用

  3. apache-maven-3.8.1-bin.tar.gz

    https://maven.apache.org/download.cgi

    无需编译，开箱即用

  4. nodejs 16.3.0

    https://nodejs.org/dist/v16.3.0/node-v16.3.0-linux-arm64.tar.xz

    无需编译，开箱即用

  5. libtool-2.4.6.tar.gz

    编译第三方组件用，虽然系统可能自带了libtool，但是libtool需要和automake在一起，这样不容易出问题。

    1. https://ftp.gnu.org/gnu/libtool/libtool-2.4.6.tar.gz
    2. cd  libtool-2.4.6/
    3. ./configure --prefix=/home/doris/tools/installed
    4. make -j && make install

  6. binutils-2.36.tar.xz（获取bdf.h）

    1. https://ftp.gnu.org/gnu/binutils/binutils-2.36.tar.bz2
    2. ./configure --prefix=/home/doris/tools/installed
    3. make -j && make install

  7. libiberty（编译BE用）

    这个库的源码就在 gcc-10.1.0 的源码包下

    1. cd gcc-10.1.0/libiberty/
    2. ./configure --prefix=/home/doris/tools/installed
    3. make

    编译后会产生 libiberty.a，后续移动到 Doris 的thirdparty 的 lib64 目录中即可。

3. 编译第三方库

假设Doris源码在 /home/doris/doris-src/ 下。

  1. 手动下载所有第三方库并放在 thirdparty/src 目录下。

  2. 在Doris源码目录下新增 custom_env.sh 并添加如下内容

    1. export DORIS_THIRDPARTY=/home/doris/doris-src/thirdparty/
    2. export JAVA_HOME=/home/doris/tools/jdk1.8.0_291/
    3. export DORIS_GCC_HOME=/home/doris/tools/installed/
    4. export PATCH_COMPILER_RT=true

    注意替换对应的目录

  3. 修改 build-thirdparty.sh 中的部分内容

    1. 关闭 build_mysql 和 build_libhdfs3

      mysql 不再需要。而 libhdfs3 暂不支持 arm 架构，所以在arm中运行Doris，暂不支持通过 libhdfs3 直接访问 hdfs，需要通过broker。

    2. 在 build_curl 中增加 configure 参数：--without-libpsl。如果不添加，则在最终编译Doris BE的链接阶段，可能报错：undefined reference to ‘psl_is_cookie_domain_acceptable'

  4. 执行 build-thirdparty.sh。这里仅列举可能出现的错误

    • error: narrowing conversion of '-1' from 'int' to 'char' [-Wnarrowing]

      编译brpc 0.9.7 时会出现错误，解决方案，在 brpc 的 CMakeLists.txt 的 CMAKE_CXX_FLAGS 中添加 -Wno-narrowing。brpc master 代码中已经修复这个问题：

      https://github.com/apache/incubator-brpc/issues/1091

    • libz.a(deflate.o): relocation R_AARCH64_ADR_PREL_PG_HI21 against symbolz_errmsg’ which may bind externally can not be used when making a shared object; recompile with -fPIC`

      编译brpc 0.9.7 时会出现错误，还有 libcrypto 也会报类似错误。原因未知，似乎在 aarch64 下，brpc 需要链接动态的 zlib 和 crypto 库。但是我们在编译这两个第三方库时，都只编译的了 .a 静态文件。解决方案：重新编译zlib和 openssl 生成.so 动态库：

      打开 build-thirdparty.sh，找到 build_zlib 函数，将：

      1. ./configure --prefix=$TP_INSTALL_DIR --static
      2. 就改为
      3. ./configure --prefix=$TP_INSTALL_DIR

      找到 build_openssl，将以下部分注释掉：

      1. #if [ -f $TP_INSTALL_DIR/lib64/libcrypto.so ]; then
      2. #    rm -rf $TP_INSTALL_DIR/lib64/libcrypto.so*
      3. #fi
      4. #if [ -f $TP_INSTALL_DIR/lib64/libssl.so ]; then
      5. #    rm -rf $TP_INSTALL_DIR/lib64/libssl.so*
      6. #fi

      然后来到 build-thirdparty.sh，注释掉其他 build_xxx，仅打开 build_zlib 和 build_openssl，以及 build_brpc 和之后的 build_xxx。然后重新执行 build-thirdparty.sh。

    • 编译到某个阶段卡住不动。

      不确定原因。解决方案：重跑 build-thirdparty.sh。build-thirdparty.sh 是可以重复执行的。

4. 编译Doris源码

执行 sh build.sh 即可。

5. 常见错误

  1. 编译 Doris 时出现 undefined reference to psl_free

    libcurl 会调用 libpsl 的函数，但 libpsl 未连接，原因未知。解决方法（二选一）：

    1. 在 thirdparty/build-thirdparty.sh 中的 build_curl 方法中添加 --without-libpsl 后重新编译 libcurl，然后再重新编译 Doris。
    2. be/CMakeLists.txt 中 603 行左右，-pthread 后添加 -lpsl，然后重新编译 Doris。