在Virtual Box上运行Alluxio

Slack Docker Pulls GitHub edit source

通过Alluxio自带的Vagrant脚本,你可以 将Alluxio部署在本地机器上的VirtualBox中。该脚本允许你创建,配置以及撤销 集群,该集群自动配置了HDFS相关项。

前期准备

安装VirtualBox

下载VirtualBox

安装Vagrant

下载Vagrant

安装Alluxio

克隆 Alluxio Repository到你本地的机器上。

安装python库依赖

安装python>=2.7,注意不是python3.

进入deploy/vagrant目录下,运行:

  1. $ sudo bash bin/install.sh

另外,你可以选择手动安装pip,之后进入deploy/vagrant目录,运行:

  1. $ sudo pip install -r pip-req.txt

启动集群

现在你可以以Hadoop2.4.1为底层文件系统启动Alluxio集群了,在deploy/vagrant目录下运行:

  1. $ ./create <number of machines> vb

集群中的每个节点运行一个Alluxio worker,AlluxioMaster节点上运行Alluxio master.

访问cluster

通过Web UI访问

命令./create <number of machines> vb运行成功后,在shell中会输出类似下面的两条语句。

  1. >>> AlluxioMaster public IP is xxx, visit xxx:19999 for Alluxio web UI<<<
  2. >>> visit default port of the web UI of what you deployed <<<

Alluxio Web UI的默认端口为19999

Hadoop Web UI的默认端口为50070

在浏览器中输入http://{MASTER_IP}:{PORT}地址访问Web UI。

通过ssh访问

节点的名称依次被设置成AlluxioMaster, AlluxioWorker1, AlluxioWorker2等等。

通过ssh登陆一个节点,运行:

  1. $ vagrant ssh <node name>

例如,通过以下命令可以登陆AlluxioMaster节点:

  1. $ vagrant ssh AlluxioMaster

所有的软件都安装在根目录下,例如Alluxio安装在/alluxio,Hadoop安装在/hadoop

AlluxioMaster节点上,可以对Alluxio运行测试检测其健康状态:

  1. $ /alluxio/bin/alluxio runTests

在所有测试完成后,再次访问Alluxio的web UI http://{MASTER_IP}:19999,在导航栏中点 击Browse File System,你应该能看到测试过程中写入到Alluxio的文件。

在集群中的某个节点上,可以通过ssh免密码登陆到集群中的其他节点:

  1. $ ssh AlluxioWorker1

撤销集群

deploy/vagrant目录下运行:

  1. $ ./destroy

从而撤销之前创建的集群。一次只能创建一个集群。当该命令成功执行后,虚拟机将终止运行。