架构介绍

Apache InLong Manager介绍

  • 目标定位:Apache inlong 定位为一站式海量数据集成框架,提供完整覆盖大数据接入场景从数据采集、传输、分拣、落地的技术能力。

  • 平台价值:用户可以通过平台中自带的管理、配置平台完成任务的配置、管理、指标监控,同时通过平台在流程中各主要环节提供SPI扩展点按需要实现自定义逻辑。保证功能稳定高效的同时降低平台使用门槛。

  • Apache InLong Manager作为整个数据接入平台面向用户的统一管理入口,用户登录后会根据对应角色提供不同的功能权限以及数据权限。页面提供平台各基础集群(如mq、分拣)维护入口,可随时查看维护基本信息、容量规划调整。同时业务用户可完成数据接入任务的创建、修改维护、指标查看、接入对账等功能。其对应的后台服务在用户创建并启动任务的同时会与底层各模块进行数据交互,将各模块需要执行的任务通过合理的方式下发。起到协调串联后台业务执行流程的作用。

Architecture

架构介绍 - 图1

模块分工

模块职责
manager-common模块公共代码,入异常定义,工具类,枚举等
manager-dao数据库操作
manager-service业务逻辑层
manager-web前端交互对应接口
manager-workflow-engine工作流引擎

系统使用流程

架构介绍 - 图2

数据模型

架构介绍 - 图3