如何快速安装使用DataSphereStudio

DataSphereStudio安装分为前端部分和后台部分,安装之前首先需要确定前、后端安装环境。

一、确定您的安装环境

        DataSphereStudio根据组件丰富程度,安装环境略有差异,分为精简版、简单版和标准版,其区别如下:


  1. 精简版

      最少环境依赖,前后端基础环境部分仅需准备:Linkis、JAVA、MYSQL、Nginx ,您即刻能享受到DSS已集成的数据开发Scriptis服务。

        点我进入精简版DSS环境配置准备


  1. 简单版

      较少环境依赖,前后端基础环境部分仅需准备:Linkis、JAVA、MYSQL、Nginx ,您即刻能享受到DSS已集成的数据开发Scriptis、工作流实时执行,可视化,邮件发送,DATACHECK和EVENTCHECK服务。

        点我进入简单版DSS环境配置准备


  1. 标准版

          DSS还实现了很多外部系统的集成,如QualitisAzkaban,如果您想使用这些外部系统,则需要在简单版的基础上,提前安装和启动好Qualitis和Azkaban服务,并确保其能够正常提供服务,并在配置中指定对应服务的IP和端口。

          点我进入标准版DSS环境配置准备


二、精简版DSS环境配置准备

DSS环境配置准备分为三部分,前后端基础软件安装、后端环境配置准备和前端环配置境准备,详细介绍如下:

2.1 前后端基础软件安装

Linkis精简版(0.9.3及以上),如何安装Linkis

JDK (1.8.0_141以上),如何安装JDK

MySQL (5.5+),如何安装MySQL

Nginx,如何安装Nginx

2.2 后端环境配置准备

a. 创建用户

例如: 部署用户是hadoop账号

在部署机器上创建部署用户,使用该用户进行安装。

  1. sudo useradd hadoop
注意:用户需要有sudo权限,且可免密登陆本机。如何配置SSH免密登陆
  1. vi /etc/sudoers
  2. hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL

b. 安装包准备

从DSS已发布的release中(点击这里进入下载页面),下载对应安装包。先解压安装包到安装目录,并对解压后的文件进行配置修改

  1. tar -xvf wedatasphere-dss-x.x.x-dist.tar.gz

c. 修改基础配置

  1. vi conf/config.sh
  1. <!--说明:以下为简单版DSS基础配置项,如果您想体验更多企业特性,请安装标准版DSS-->
  2. deployUser=hadoop #指定部署用户
  3. DSS_INSTALL_HOME=$workDir #默认为上一级目录
  4. WORKSPACE_USER_ROOT_PATH=file:///tmp/Linkis #指定用户根目录,存储用户的脚本文件和日志文件等,是用户的工作空间。
  5. RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis # 结果集文件路径,用于存储Job的结果集文件

d. 修改数据库配置

  1. vi conf/db.sh
  1. # 设置DSS-Server和Eventchecker AppJoint的数据库的连接信息,需要和linkis保持同库
  2. MYSQL_HOST=
  3. MYSQL_PORT=
  4. MYSQL_DB=
  5. MYSQL_USER=
  6. MYSQL_PASSWORD=

2.3 前端端环境配置准备

a、下载安装包

点击release 下载对应安装包,并在安装目录进行解压:

  1. unzip wedatasphere-dss-web-x.x.x-dist.zip
注意:如果DSS前端安装包是用户自行编译的,则需要把visualis前端安装包复制到DSS前端安装目录的dss/visualis文件夹下,以供自动化安装使用

b、配置修改

    进入前端工作目录,在该目录下编辑:

  1. vi conf/config.sh

更改dss的前端端口和后端linkis的gateway的IP地址及端口

  1. # Configuring front-end ports
  2. dss_port="8088"
  3. # URL of the backend linkis gateway
  4. linkis_url="http://127.0.0.1:9001"
  5. # dss ip address
  6. dss_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}')

环境准备完毕,点我进入 五、安装和使用


三、简单版DSS环境配置准备

DSS环境配置准备分为三部分,前后端基础软件安装、后端环境配置准备和前端环配置境准备,详细介绍如下:

3.1 前后端基础软件安装

Linkis简单版(0.9.3及以上),如何安装Linkis

JDK (1.8.0_141以上),如何安装JDK

MySQL (5.5+),如何安装MySQL

Nginx,如何安装Nginx

3.2 后端环境配置准备

a. 创建用户

例如: 部署用户是hadoop账号

在部署机器上创建部署用户,使用该用户进行安装。

  1. sudo useradd hadoop
注意:用户需要有sudo权限,且可免密登陆本机。如何配置SSH免密登陆
  1. vi /etc/sudoers
  2. hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL

b. 安装包准备

从DSS已发布的release中(点击这里进入下载页面),下载对应安装包。先解压安装包到安装目录,并对解压后的文件进行配置修改

  1. tar -xvf wedatasphere-dss-x.x.x-dist.tar.gz
注意:如果安装包是用户自行编译的,则需要把visualis-server安装包复制到DSS安装目录的share/visualis-server文件夹下,以供自动化安装使用

c. 修改基础配置

  1. vi conf/config.sh
  1. <!--说明:以下为简单版DSS基础配置项,如果您想体验更多企业特性,请安装标准版DSS-->
  2. deployUser=hadoop #指定部署用户
  3. DSS_INSTALL_HOME=$workDir #默认为上一级目录
  4. WORKSPACE_USER_ROOT_PATH=file:///tmp/Linkis #指定用户根目录,存储用户的脚本文件和日志文件等,是用户的工作空间。
  5. RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis # 结果集文件路径,用于存储Job的结果集文件
  6. #用于DATACHECK校验
  7. HIVE_META_URL=jdbc:mysql://127.0.0.1:3306/hivemeta?characterEncoding=UTF-8
  8. HIVE_META_USER=xxx
  9. HIVE_META_PASSWORD=xxx

d. 修改数据库配置

  1. vi conf/db.sh
  1. # 设置DSS-Server和Eventchecker AppJoint的数据库的连接信息,需要和linkis保持同库
  2. MYSQL_HOST=
  3. MYSQL_PORT=
  4. MYSQL_DB=
  5. MYSQL_USER=
  6. MYSQL_PASSWORD=

3.3 前端端环境配置准备

a、下载安装包

点击release 下载对应安装包,并在安装目录进行解压:

  1. unzip wedatasphere-dss-web-x.x.x-dist.zip
注意:如果DSS前端安装包是用户自行编译的,则需要把visualis前端安装包复制到DSS前端安装目录的dss/visualis文件夹下,以供自动化安装使用

b、配置修改

    进入前端工作目录,在该目录下编辑

  1. vi conf/config.sh

更改dss的前端端口和后端linkis的gateway的IP地址及端口

  1. # Configuring front-end ports
  2. dss_port="8088"
  3. # URL of the backend linkis gateway
  4. linkis_url="http://127.0.0.1:9001"
  5. # dss ip address
  6. dss_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}')

环境准备完毕,点我进入 五、安装和使用

四、标准版DSS环境配置准备

标准版DSS环境准备也分为三部分,前后端基础软件安装、后端环境准备和前端环境准备,详细介绍如下:

4.1 前后端基础软件安装

Linkis标准版(0.9.3及以上),如何安装Linkis

JDK (1.8.0_141以上),如何安装JDK

MySQL (5.5+),如何安装MySQL

Nginx,如何安装Nginx

Qualitis 如何安装Qualitis

Azkaban 如何安装Azkaban

注意:支持Azkaban调度需要配套安装linkis-jobtype,请点击Linkis jobType安装文档

4.2 后端环境配置准备

a. 创建用户

例如: 部署用户是hadoop账号

在部署机器上创建部署用户,使用该用户进行安装。

  1. sudo useradd hadoop
注意:用户需要有sudo权限,且可免密登陆本机。如何配置SSH免密登陆
  1. vi /etc/sudoers
  2. hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL

b. 安装包准备

从DSS已发布的release中(点击这里进入下载页面),下载对应安装包。先解压安装包到安装目录,并对解压后的文件进行配置修改

  1. tar -xvf wedatasphere-dss-x.x.x-dist.tar.gz
注意:如果安装包是用户自行编译的,则需要把visualis-server安装包复制到DSS安装目录的share/visualis-server文件夹下,以供自动化安装使用

c. 修改基础配置

  1. vi conf/config.sh
  1. <!--说明:以下为标准版DSS必须配置项,请确保外部服务可用-->
  2. deployUser=hadoop #指定部署用户
  3. DSS_INSTALL_HOME=$workDir #默认为上一级目录
  4. WORKSPACE_USER_ROOT_PATH=file:///tmp/Linkis #指定用户根目录,存储用户的脚本文件和日志文件等,是用户的工作空间。
  5. RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis # 结果集文件路径,用于存储Job的结果集文件
  6. WDS_SCHEDULER_PATH=file:///appcom/tmp/wds/scheduler #DSS工程转换成Azkaban工程后zip包的存储路径
  7. #1、用于DATACHECK
  8. HIVE_META_URL=jdbc:mysql://127.0.0.1:3306/hivemeta?characterEncoding=UTF-8
  9. HIVE_META_USER=xxx
  10. HIVE_META_PASSWORD=xxx
  11. #2、用于Qualitis
  12. QUALITIS_ADRESS_IP=127.0.0.1 #QUALITIS服务IP地址
  13. QUALITIS_ADRESS_PORT=8090 #QUALITIS服务端口号
  14. #3、用于AZKABAN
  15. AZKABAN_ADRESS_IP=127.0.0.1 #AZKABAN服务IP地址
  16. AZKABAN_ADRESS_PORT=8091 #AZKABAN服务端口号

d. 修改数据库配置

  1. vi conf/db.sh
  1. # 设置DSS-Server和Eventchecker AppJoint的数据库的连接信息,需要和linkis保持同库
  2. MYSQL_HOST=
  3. MYSQL_PORT=
  4. MYSQL_DB=
  5. MYSQL_USER=
  6. MYSQL_PASSWORD=

4.3 前端环境配置准备

a、下载安装包

点击release 选择安装包下载,并在安装目录进行解压:

  1. unzip wedatasphere-dss-web-x.x.x-dist.zip
注意:如果DSS前端安装包是用户自行编译的,则需要把visualis前端安装包复制到DSS前端安装目录的dss/visualis文件夹下,以供自动化安装使用

b、配置修改

    进入前端工作目录,在该目录下编辑

  1. vi conf/config.sh

更改dss的前端端口和后端linkis的gateway的IP地址及端口

  1. # Configuring front-end ports
  2. dss_port="8088"
  3. # URL of the backend linkis gateway
  4. linkis_url="http://127.0.0.1:9001"
  5. # dss ip address
  6. dss_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/(.*)/, "\\1", "g", $2)}')

环境准备完毕,点我进入 五、安装和使用

五、安装和使用

5.1. DataSphereStudio 后台安装:

a. 执行安装脚本:

  1. sh bin/install.sh

b. 安装步骤

  • install.sh脚本会询问您安装模式。

     安装模式就是简单模式或标准模式,请根据您准备的环境情况,选择合适的安装模式,精简版、简单模式和标准模式都会检查mysql服务,标准模式还会检测Qualitis服务和Azkaban外部server服务,如果检测失败会直接退出安装。

  • 安装过程如果有很多cp 命令提示您是否覆盖安装,说明您的系统配置有别名,输入alias,如果有cp、mv、rm的别名,如果有可以去掉,就不会再有大量提示。

  • install.sh脚本会询问您是否需要初始化数据库并导入元数据。      因为担心用户重复执行install.sh脚本,把数据库中的用户数据清空,所以在install.sh执行时,会询问用户是否需要初始化数据库并导入元数据。      第一次安装必须选是。

c. 是否安装成功:

        通过查看控制台打印的日志信息查看是否安装成功。

        您也可以通过查看我们的常见问题),获取问题的解答。

d. 启动DataSphereStudio后台服务

(1)、启动服务:

在安装目录执行以下命令,启动所有服务:

./bin/start-all.sh > start.log 2>start_error.log

(2)、查看是否启动成功

可以在Eureka界面查看服务启动成功情况,查看方法:

使用http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}, 在浏览器中打开,查看服务是否注册成功。

如果您没有在config.sh指定EUREKA_INSTALL_IP和EUREKA_INSTALL_IP,则HTTP地址为:http://127.0.0.1:20303

如下图,如您的Eureka主页出现以下微服务,则表示服务都启动成功,可以正常对外提供服务了:

Eureka

5.2 DataSphereStudio前端安装

a、部署

    进入前端工作目录,执行安装脚本

  1. sh bin/install.sh

执行完后可以直接通过在谷歌浏览器访问:

  1. 其中dss_portconfig.sh里面配置的端口,dss_ipaddr为安装机器的IP
  2. 如果访问失败:可以通过查看 install.log的日志查看哪一步出错
  3. #### b、如果您想手动安装前端,具体步骤如下:
  4. 1.修改配置文件:sudo vi /etc/nginx/conf.d/dss.conf
  5. 添加如下内容:

server { listen 8088;# 访问端口 server_name localhost;

  1. #charset koi8-r;
  2. #access_log /var/log/nginx/host.access.log main;
  3. location /dss/visualis {
  4. root /appcom/Install/DSS/FRONT; # visualis静态文件目录
  5. autoindex on;
  6. }
  7. location / {
  8. root /appcom/Install/DSS/FRONT/dist; # 前端包解压的目录
  9. index index.html index.html;
  10. }
  11. location /ws {#webSocket配置支持
  12. proxy_pass http://192.168.xxx.xxx:9001;#linkis-gateway服务的ip端口
  13. proxy_http_version 1.1;
  14. proxy_set_header Upgrade $http_upgrade;
  15. proxy_set_header Connection "upgrade";
  16. }
  17. location /api {
  18. proxy_pass http://192.168.xxx.xxx:9001; # linkis-gateway服务的ip端口
  19. proxy_set_header Host $host;
  20. proxy_set_header X-Real-IP $remote_addr;
  21. proxy_set_header x_real_ipP $remote_addr;
  22. proxy_set_header remote_addr $remote_addr;
  23. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  24. proxy_http_version 1.1;
  25. proxy_connect_timeout 4s;
  26. proxy_read_timeout 600s;
  27. proxy_send_timeout 12s;
  28. proxy_set_header Upgrade $http_upgrade;
  29. proxy_set_header Connection upgrade;
  30. }
  31. #error_page 404 /404.html;
  32. # redirect server error pages to the static page /50x.html
  33. #
  34. error_page 500 502 503 504 /50x.html;
  35. location = /50x.html {
  36. root /usr/share/nginx/html;
  37. }
  38. }
  1. ### 2.将前端包拷贝到对应的目录:
  2. ```/appcom/Install/DSS/FRONT; # 前端包安装目录
注意: 手动安装DSS前端,则需要到DSS前端安装目录的dss/visualis文件夹下,解压visualis前端安装包,用于自动化安装visualis前端。

3.启动服务

sudo systemctl restart nginx

4.谷歌浏览器访问:

http://nginx_ip:nginx_port

DSS登录用户和登录密码都是部署DSS的Linux用户名,更多用户配置,详见 Linkis LDAP

如何详细使用DSS, 点我进入 DSS快速使用文档

5.3、常见问题

DSS安装常见问题