KubeSphere 日志系统

KubeSphere 为日志收集、查询和管理提供了一个强大的、全面的、易于使用的日志系统。它涵盖了不同层级的日志,包括租户、基础设施资源和应用。用户可以从项目、工作负载、容器组和关键字等不同维度对日志进行搜索。与 Kibana 相比,KubeSphere 基于租户的日志系统中,每个租户只能查看自己的日志,从而可以在租户之间提供更好的隔离性和安全性。除了 KubeSphere 自身的日志系统,该容器平台还允许用户添加第三方日志收集器,如 Elasticsearch、Kafka 和 Fluentd。

有关更多信息,请参见日志查询

在安装前启用日志系统

在 Linux 上安装

当您在 Linux 上安装 KubeSphere 时,首先需要创建一个配置文件,该文件列出了所有 KubeSphere 组件。

  1. 在 Linux 上安装 KubeSphere 时,您需要创建一个默认文件 config-sample.yaml。通过执行以下命令修改该文件:

    1. vi config-sample.yaml

    备注

    • 如果您采用 All-in-one 安装,则不需要创建 config-sample.yaml 文件,因为可以直接创建集群。一般来说,All-in-one 模式是为那些刚接触 KubeSphere 并希望熟悉系统的用户而准备的。如果您想在这个模式下启用日志系统(比如用于测试),请参考下面的部分,查看如何在安装后启用日志系统。

    • 如果您采用多节点安装,并且使用符号链接作为 Docker 根目录,请确保所有节点遵循完全相同的符号链接。日志代理在守护进程集中部署到节点上。容器日志路径的任何差异都可能导致该节点的收集失败。

  2. 在该文件中,搜寻到 logging,并将 enabledfalse 改为 true。完成后保存文件。

    1. logging:
    2. enabled: true # 将“false”更改为“true”。
    3. containerruntime: docker

    信息

    若使用 containerd 作为容器运行时,请将 containerruntime 字段的值更改为 containerd。如果您从低版本升级至 KubeSphere 3.3.0,则启用 KubeSphere 日志系统时必须在 logging 字段下手动添加 containerruntime 字段。

    备注

    默认情况下,如果启用了日志系统,KubeKey 将安装内置 Elasticsearch。对于生产环境,如果您想启用日志系统,强烈建议在 config-sample.yaml 中设置以下值,尤其是 externalElasticsearchUrlexternalElasticsearchPort。在安装前提供以下信息后,KubeKey 将直接对接您的外部 Elasticsearch,不再安装内置 Elasticsearch。

    1. es: # Storage backend for logging, tracing, events and auditing.
    2. elasticsearchMasterReplicas: 1 # The total number of master nodes. Even numbers are not allowed.
    3. elasticsearchDataReplicas: 1 # The total number of data nodes.
    4. elasticsearchMasterVolumeSize: 4Gi # The volume size of Elasticsearch master nodes.
    5. elasticsearchDataVolumeSize: 20Gi # The volume size of Elasticsearch data nodes.
    6. logMaxAge: 7 # Log retention day in built-in Elasticsearch. It is 7 days by default.
    7. elkPrefix: logstash # The string making up index names. The index name will be formatted as ks-<elk_prefix>-log.
    8. externalElasticsearchUrl: # The Host of external Elasticsearch.
    9. externalElasticsearchPort: # The port of external Elasticsearch.
  3. 使用该配置文件创建集群:

    1. ./kk create cluster -f config-sample.yaml

在 Kubernetes 上安装

当您在 Kubernetes 上安装 KubeSphere 时,需要先在 cluster-configuration.yaml 文件中启用日志系统。

  1. 下载 cluster-configuration.yaml 文件,然后打开并开始编辑。

    1. vi cluster-configuration.yaml
  2. cluster-configuration.yaml 文件中,搜索 logging,并将 enabledfalse 改为 true,以启用日志系统。完成后保存文件。

    1. logging:
    2. enabled: true # 将“false”更改为“true”。
    3. containerruntime: docker

    信息

    若使用 containerd 作为容器运行时,请将 .logging.containerruntime 字段的值更改为 containerd。如果您从低版本升级至 KubeSphere 3.3.0,则启用 KubeSphere 日志系统时必须在 logging 字段下手动添加 containerruntime 字段。

    备注

    默认情况下,如果启用了日志系统,ks-installer 将安装内置 Elasticsearch。对于生产环境,如果您想启用日志系统,强烈建议在 cluster-configuration.yaml 中设置以下值,尤其是 externalElasticsearchUrlexternalElasticsearchPort。在安装前提供以下信息后,ks-installer 将直接对接您的外部 Elasticsearch,不再安装内置 Elasticsearch。

    1. es: # Storage backend for logging, tracing, events and auditing.
    2. elasticsearchMasterReplicas: 1 # The total number of master nodes. Even numbers are not allowed.
    3. elasticsearchDataReplicas: 1 # The total number of data nodes.
    4. elasticsearchMasterVolumeSize: 4Gi # The volume size of Elasticsearch master nodes.
    5. elasticsearchDataVolumeSize: 20Gi # The volume size of Elasticsearch data nodes.
    6. logMaxAge: 7 # Log retention day in built-in Elasticsearch. It is 7 days by default.
    7. elkPrefix: logstash # The string making up index names. The index name will be formatted as ks-<elk_prefix>-log.
    8. externalElasticsearchUrl: # The Host of external Elasticsearch.
    9. externalElasticsearchPort: # The port of external Elasticsearch.
  3. 执行以下命令开始安装:

    1. kubectl apply -f https://github.com/kubesphere/ks-installer/releases/download/v3.3.0/kubesphere-installer.yaml
    2. kubectl apply -f cluster-configuration.yaml

在安装后启用日志系统

  1. admin 用户登录控制台。点击左上角的平台管理,选择集群管理

  2. 点击定制资源定义,在搜索栏中输入 clusterconfiguration。点击结果查看其详细页面。

    信息

    定制资源定义 (CRD) 允许用户在不增加额外 API 服务器的情况下创建一种新的资源类型,用户可以像使用其他 Kubernetes 原生对象一样使用这些定制资源。

  3. 自定义资源中,点击 ks-installer 右侧的 KubeSphere 日志系统 - 图1,选择编辑 YAML

  4. 在该 YAML 文件中,搜索 logging,将 enabledfalse 改为 true。完成后,点击右下角的确定以保存配置。

    1. logging:
    2. enabled: true # 将“false”更改为“true”。
    3. containerruntime: docker

    信息

    若使用 containerd 作为容器运行时,请将 .logging.containerruntime 字段的值更改为 containerd。如果您从低版本升级至 KubeSphere 3.3.0,则启用 KubeSphere 日志系统时必须在 logging 字段下手动添加 containerruntime 字段。

    备注

    默认情况下,如果启用了日志系统,将会安装内置 Elasticsearch。对于生产环境,如果您想启用日志系统,强烈建议在该 YAML 文件中设置以下值,尤其是 externalElasticsearchUrlexternalElasticsearchPort。在文件中提供以下信息后,KubeSphere 将直接对接您的外部 Elasticsearch,不再安装内置 Elasticsearch。

    1. es: # Storage backend for logging, tracing, events and auditing.
    2. elasticsearchMasterReplicas: 1 # The total number of master nodes. Even numbers are not allowed.
    3. elasticsearchDataReplicas: 1 # The total number of data nodes.
    4. elasticsearchMasterVolumeSize: 4Gi # The volume size of Elasticsearch master nodes.
    5. elasticsearchDataVolumeSize: 20Gi # The volume size of Elasticsearch data nodes.
    6. logMaxAge: 7 # Log retention day in built-in Elasticsearch. It is 7 days by default.
    7. elkPrefix: logstash # The string making up index names. The index name will be formatted as ks-<elk_prefix>-log.
    8. externalElasticsearchUrl: # The Host of external Elasticsearch.
    9. externalElasticsearchPort: # The port of external Elasticsearch.
  5. 在 kubectl 中执行以下命令检查安装过程:

    1. kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l 'app in (ks-install, ks-installer)' -o jsonpath='{.items[0].metadata.name}') -f

    备注

    您可以通过点击控制台右下角的 KubeSphere 日志系统 - 图2 找到 kubectl 工具。

验证组件的安装

进入系统组件,检查日志标签页中的所有组件都处于健康状态。如果是,组件安装成功。

执行以下命令来检查容器组的状态:

  1. kubectl get pod -n kubesphere-logging-system

如果组件运行成功,输出结果如下:

  1. NAME READY STATUS RESTARTS AGE
  2. elasticsearch-logging-data-0 1/1 Running 0 87m
  3. elasticsearch-logging-data-1 1/1 Running 0 85m
  4. elasticsearch-logging-discovery-0 1/1 Running 0 87m
  5. fluent-bit-bsw6p 1/1 Running 0 40m
  6. fluent-bit-smb65 1/1 Running 0 40m
  7. fluent-bit-zdz8b 1/1 Running 0 40m
  8. fluentbit-operator-9b69495b-bbx54 1/1 Running 0 40m
  9. logsidecar-injector-deploy-667c6c9579-cs4t6 2/2 Running 0 38m
  10. logsidecar-injector-deploy-667c6c9579-klnmf 2/2 Running 0 38m