源码目录结构

Linkis层级目录结构解释,如果您想详细Linkis,请查看Linkis的相关架构设计文档

  1. ├─assembly
  2. ├─bin
  3. ├─conf
  4. ├─core //核心抽象,里面放有所有的公用模块
  5. │ ├─cloudModule //微服务必须引入的模块,内嵌Jetty + WebSocket + SpringBoot + Jersey
  6. │ ├─cloudMybatis //SpringCloud的Mybatis模块
  7. │ ├─cloudProtocol //通用协议,如Entrance与Engine的RPC通信
  8. │ ├─cloudRPC //RPC模块,基于Feign实现的复杂双向通信
  9. │ ├─common //通用模块,内置很多通用工具类
  10. │ ├─httpclient //Java SDK顶层接口
  11. │ └─scheduler //通用调度模块
  12. ├─db //数据库信息
  13. ├─docs //所有文档
  14. ├─eurekaServer //Eureka模块
  15. ├─extensions //插件
  16. │ └─spark-excel //spark支持excel转DF/DF导成excel的插件
  17. ├─gateway //网关模块
  18. │ ├─core //网关核心实现,包括前端接口的鉴权/解析/路由
  19. │ ├─gateway-httpclient-support //gateway对Java SDK的支持
  20. │ ├─gateway-ujes-support //对UJES接口的解析和路由支持
  21. │ └─springcloudgateway //引入spring cloud gateway,前端请求都从这里拦截
  22. ├─publicService //公共服务
  23. │ ├─application //应用模块
  24. │ ├─bin
  25. │ ├─conf
  26. │ ├─configuration //参数模块,各引擎参数从这里获取
  27. │ ├─database //提供Hive元数据查询服务
  28. │ ├─query //提供Job Manager和Job History
  29. │ ├─udf //UDF模块
  30. │ ├─variable //用户自定义变量模块
  31. │ └─workspace //工作空间模块,管理用户脚本
  32. ├─resourceManager //资源管理服务
  33. │ ├─resourcemanagerclient //资源管理客户端
  34. │ ├─resourcemanagercommon //通用模块
  35. │ └─resourcemanagerserver //资源管理服务端
  36. ├─storage //统一存储服务
  37. │ ├─pesIO //远程存储服务
  38. │ │ ├─io-engine //远程存储的engine端,实际访问底层存储端
  39. │ │ ├─io-enginemanager //远程存储的engineManger
  40. │ │ └─io-entrance //远程存储的请求入口
  41. │ └─storage //统一存储的对外统一接口
  42. └─ujes //统一作业执行服务
  43. │ ├─client //Java SDK,用户通过Client可直接访问Linkis
  44. │ ├─definedEngines //已经实现的引擎
  45. │ │ ├─hive //Hive引擎
  46. │ │ │ ├─engine //实际对接底层Hive的engine执行端
  47. │ │ │ ├─enginemanager
  48. │ │ │ └─entrance
  49. │ │ ├─pipeline //导入导出引擎,用于存储系统之间互导
  50. │ │ │ ├─engine
  51. │ │ │ ├─enginemanager
  52. │ │ │ └─entrance
  53. │ │ ├─python //单机版Python引擎
  54. │ │ │ ├─engine //实际对接底层Python的engine执行端
  55. │ │ │ ├─enginemanager
  56. │ │ │ └─entrance
  57. │ │ ├─spark //spark引擎
  58. │ │ │ ├─engine //实际对接底层Spark的engine执行端
  59. │ │ │ ├─enginemanager
  60. │ │ │ └─entrance
  61. │ │ └─tispark //TiSpark引擎,实际对接TiSpark的engine端
  62. │ ├─engine //通用底层engine模块
  63. │ ├─enginemanager //通用底层enginemanager模块
  64. │ ├─entrance //通用底层entrance模块
  65. │ └─entranceclient //简化版的entrance