日志收集对接到阿里云日志服务

本文内容主要是讲解如何使用阿里云日志收集插件对接阿里云日志服务,将 Rainbond 平台上的组件运行中产生的日志通过插件的方式收集并发送到阿里云日志服务中。

参考视频

Rainbond线上沙龙-组件日志对接到阿里云日志服务

前提条件

  • 团队中有默认的阿里云日志服务收集插件
  • 日志持久化到日志文件的可运行组件。
  • 可用的阿里云账户。

插件的安装与开通

在团队视图中的我的插件页面中,选择阿里云日志服务收集插件,点击安装,安装完成后,组件才可以使用该插件。

安装完成之后在组件管理页面的插件页面,在未开通列表中,找到阿里云日志服务收集插件,点击右侧的开通按钮,开通该插件。之后该插件会出现在已开通列表中。

参数配置

可以点击该插件右侧的查看配置按钮,查看该插件的配置参数信息。

参数名称默认值说明
ALIYUN_LOGTAIL_USER_ID阿里云用户标识,可参考配置用户标识进行配置。
ALIYUN_LOGTAIL_USER_DEFINED_ID机器组用户自定义标识,可参考创建用户自定义标识机器组进行配置。
ALIYUN_LOGTAIL_CONFIG/etc/ilogtail/conf/\${cn-huhehaote}/ilogtail_config.jsonLogtail 收集服务配置参数,根据日志服务 Project 所在地及网络类型不同而不同。
ALIYUN_LOG_ENV_TAGS`_podname_podip

ALIYUN_LOGTAIL_CONFIG 需要根据日志服务 Project 所在地记忆网络类型进行设置,需要用户知道自己的 Rainbond 平台部署在阿里云的那个区域,使用的是什么类型的网络。 如果为公网,格式为:region-internet ,例如:华东 1(杭州)为 cn-hangzhou-Internet 。如果为阿里云内网,格式为 region 。例如:华东 1(杭州)为 cn-hangzhou 。

配置完成点击更新配置之后需要更新重启组件使其生效。

共享存储

插件收集日志需要共享组件的日志文件目录,需要将组件的日志文件目录共享给插件。可以通过挂载存储进行实现。

在组件管理页面的存储页面,添加*临时存储*类型的存储,挂载路径填写组件会产生日志文件的路径。如 /var/log/nginx

挂在存储后需要更新重启组件使其生效。

阿里云日志服务配置

在阿里云日志服务 首页,在接入数据板块选择单行-日志文本进入日志服务的配置流程中。

  • 选择日志空间

    • 创建 Project 或使用已有 Project 。需要注意项目区域的选择,要与 Rainbond 所在的区域保持一致。
    • 创建日志库 LogStore 或使用已有日志库 LogStore 。
  • 创建机器组

这里选择自建机器组。原因在于使用自建机器组的自定义配置标识不同项目的日志收集工作,实现日志收集的隔离。

  • 选择自建机器组后,直接确认安装完毕,无需进行任何安装操作。
  • 填写机器组名称,机器组 topic 信息和用户自定义标识。

选择自建机器组,机器组标识必须选择*用户自定义标识*。而且,用户自定义标识配置要和插件配置中 ALIYUN_LOGTAIL_USER_DEFINED_ID 参数的值保持一致。

  • 机器组配置

选择上步新建的机器组,将其从源机器组中移动到应用机器组列表中。

这里会出现当前选中的机器组内没有机器配置,是否强制跳过的注意提醒,可忽略,直接点击跳过即可。

  • Logtail 配置

该步骤配置要收集的日志路径以及一些高阶的配置。

需要注意,这里配置的日志路径需要和组件共享存储挂载的路径保持一致。否则收集不到日志。

  • 查询分析配置

该步骤作为日志收集的一个校验步骤,会提供预览数据的模块供用户确定日志收集是否正确。如果配置正确,这里会出现当时出现的日志列表。如果长时间没有日志预览数据,请检查操作是否有误。

至此日志收集到阿里云日志服务结束,可以看到日志已经正常收集到阿里云日志服务平台中,可以针对收集到的数据进行更复杂的分析逻辑。

常见问题

  • 插件参数配置错误导致无法收集日志

可以检查插件参数配置,确认 ALIYUN_LOGTAIL_USER_DEFINED_ID 和阿里云机器组设置的标识是否一致,确认 ALIYUN_LOGTAIL_CONFIG 参数是否和 Rainbond 平台运行所在阿里云区域一致。

  • 未配置共享存储导致无法收集日志

可以在组件管理页面的存储页面添加*临时存储*类型的存储,重新更新后使其生效。

  • 配置都正确,也挂在存储了,却收集不到日志

可以尝试重启组件,确认所有的配置都生效了,再确认日志是否收集成功。