本节包含快速入门指南,可帮助您开始使用 Apache InLong。

整体架构

Apache InLong

Apache InLong(incubating) 整体架构如上,该组件是一站式数据流媒体平台,提供自动化、安全、分布式、高效的数据发布和订阅能力,帮助您轻松构建基于流的数据应用程序。

InLong(应龙)最初建于腾讯,服务线上业务8年多,支持大数据场景下的海量数据(每天40万亿条数据规模以上)报表服务。整个平台集成了数据采集、汇聚、缓存、分拣和管理模块等共5个模块,通过这个系统,业务只需要提供数据源、数据服务质量、数据落地集群和数据落地格式,即数据可以源源不断地将数据从源集群推送到目标集群,极大满足了业务大数据场景下的数据上报服务需求。

编译

  1. $ mvn clean install -DskipTests

(可选) 使用docker编译:

  1. $ docker pull maven:3.6-openjdk-8
  2. $ docker run -v `pwd`:/inlong -w /inlong maven:3.6-openjdk-8 mvn clean install -DskipTests

若编译成功,在inlong-distribution/target下会找到tar.gz格式的安装包,解压安装目录,包括各个模块安装文件:

  1. inlong-agent
  2. inlong-dataproxy
  3. inlong-dataproxy-sdk
  4. inlong-manager-web
  5. inlong-sort
  6. inlong-tubemq-manager
  7. inlong-tubemq-server
  8. inlong-website

环境要求

  • ZooKeeper 3.5+
  • Hadoop 2.10.x 和 Hive 2.3.x
  • MySQL 5.7+
  • Flink 1.9.x

部署InLong TubeMQ Server

部署InLong TubeMQ Server

部署InLong TubeMQ Manager

部署InLong TubeMQ Manager

部署部署InLong Manager

部署InLong Manager

部署InLong WebSite

部署InLong WebSite

部署部署InLong Sort

部署InLong Sort

部署部署InLong DataProxy

部署InLong DataProxy

部署部署InLong DataProxy-SDK

部署InLong DataProxy

部署部署InLong Agent

部署InLong Agent

业务配置

配置新业务

数据上报验证

到这里,您就可以通过文件Agent采集数据并在指定的Hive表中验证接收到的数据是否与发送的数据一致。