在OBS上配置Alluxio

Slack Docker Pulls GitHub edit source

该指南介绍如何配置Alluxio以使用Huawei OBS作为底层文件系统。对象存储服务(OBS)是华为云提供的一个大容量、安全、高可靠性的云存储服务。

初始步骤

要在许多机器上运行Alluxio集群,需要在这些机器上部署二进制包。你可以自己编译Alluxio,或者下载二进制包

OBS底层存储系统可作为扩展实现。预编译的OBS底层存储jar包可以从这里下载。

然后在master节点上执行以下命令在conf/mastersconf/workers中定义的所有master节点和worker节点上安装扩展版本:

  1. $ ./bin/alluxio extensions install /PATH/TO/DOWNLOADED/OBS/jar

了解更多Alluxio扩展管理信息请参考这里

在连接OBS到Alluxio前,OBS上需要有一个bucket及目录,如果不存在请创建它们。建议bucket命名为OBS_BUCKET,目录命名为OBS_DIRECTORY。可以到这里参考更多关于在OBS上创建bucket的信息。

需提供一个OBS终端建议命名为OBS_ENDPOINT,该终端用于声明bucket所在范围并且需要在Alluxio配置文件中设置。要了解更多关于OBS上不同范围和终端的信息可以参考这里

登录OBS

Alluxio通过统一命名空间统一访问不同存储系统。OBS的安装位置可以在Alluxio命名空间的根目录或嵌套目录下。

根目录安装

若要在Alluxio中使用OBS作为底层文件系统,需要修改conf/alluxio-site.properties配置文件。首先要指定一个已有的OBS bucket和其中的目录作为底层文件系统,可以在conf/alluxio-site.properties中添加如下语句指定它:

  1. alluxio.master.mount.table.root.ufs=obs://<OBS_BUCKET>/<OBS_DIRECTORY>/

接着,需要制定华为云证书以便访问OBS,在conf/alluxio-site.properties中添加:

  1. fs.obs.accessKey=<OBS_ACCESS_KEY>
  2. fs.obs.secretKey=<OBS_SECRET_KEY>
  3. fs.obs.endpoint=<OBS_ENDPOINT>

此处, fs.obs.accessKeyfs.obs.SecretKey分别为Access Key字符串和Secret Key字符串,具体关于管理access key的信息可参考这里fs.obs.endpoint是Bucket概述中所说的Bucket的endpoint,具体信息可参考这里

更改完成后,Alluxio应该能够将OBS作为底层文件系统运行,你可以尝试使用OBS在本地运行Alluxio。

嵌套目录安装

OBS可以安装在Alluxio命名空间中的嵌套目录中,以统一访问多个存储系统。Mount 命令可以实现这一目的。例如,下面的命令将OBS容器内部的目录挂载到Alluxio的/obs目录:

  1. $ ./bin/alluxio fs mount --option fs.obs.accessKey=<OBS_ACCESS_KEY> \
  2. --option fs.obs.secretKey=<OBS_SECRET_KEY> \
  3. --option fs.obs.endpoint=<OBS_ENDPOINT> \
  4. /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/

使用OBS在本地运行Alluxio

配置完成后,你可以在本地启动Alluxio,观察一切是否正常运行:

  1. $ ./bin/alluxio format
  2. $ ./bin/alluxio-start.sh local

该命令应当会启动一个Alluxio master和一个Alluxio worker,可以在浏览器中访问http://localhost:19999查看master UI。

接着,你可以运行一个简单的示例程序:

  1. $ ./bin/alluxio runTests

运行成功后,访问你的OBS目录obs://<OBS_BUCKET>/<OBS_DIRECTORY>,确认其中包含了由Alluxio创建的文件和目录。

运行以下命令停止Alluxio:

  1. $ ./bin/alluxio-stop.sh local