Version: 2.11

prometheus

此插件是提供符合 prometheus 数据格式的监控指标数据。

属性

名称类型必选项默认值有效值描述
prefer_nameboolean可选false设置为true时,Prometheus 指标中将使用路由和服务的 name 而不是 id

接口

插件会增加 /apisix/prometheus/metrics 这个接口。

指标默认会通过独立的服务地址暴露。 默认情况下,这个地址是 127.0.0.1:9091。你可以在 conf/config.yaml 里面修改它,比如:

  1. plugin_attr:
  2. prometheus:
  3. export_addr:
  4. ip: ${{INTRANET_IP}}
  5. port: 9092

假设环境变量 INTRANET_IP172.1.1.1,现在 APISIX 会在 172.1.1.1:9092 上暴露指标。

在 2.6 版本之前,指标会直接暴露到数据面的端口上,你可能需要通过 interceptors 来保护它。

如果你依然想要这样的行为,你可以这么配置:

  1. plugin_attr:
  2. prometheus:
  3. enable_export_server: false

如何开启插件

prometheus 插件可以使用空 {} 开启。 注意,多个路由/服务可以设置为相同的名称,因此当设置 prefer_nametrue 时,注意规范命名否则容易引起误解。

例子如下:

  1. curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3. "uri": "/hello",
  4. "plugins": {
  5. "prometheus":{}
  6. },
  7. "upstream": {
  8. "type": "roundrobin",
  9. "nodes": {
  10. "127.0.0.1:80": 1
  11. }
  12. }
  13. }'

你可以使用 APISIX Dashboard 通过 web 界面来完成上面的操作。

先增加一个 Route:

create a route

然后在 route 页面中添加 prometheus 插件:

enable prometheus plugin

如何提取指标数据

我们可以从指定的 url 中提取指标数据 /apisix/prometheus/metrics:

  1. curl -i http://127.0.0.1:9091/apisix/prometheus/metrics

把该 uri 地址配置到 prometheus 中去,就会自动完成指标数据提取.

例子如下:

  1. scrape_configs:
  2. - job_name: "apisix"
  3. scrape_interval: 15s # 这个值会跟Prometheus QL中rate函数的时间范围有关系, rate函数中的时间范围应该至少两倍于该值.
  4. metrics_path: "/apisix/prometheus/metrics"
  5. static_configs:
  6. - targets: ["127.0.0.1:9091"]

我们也可以在 prometheus 控制台中去检查状态:

checking status on prometheus dashboard

prometheus apisix in-depth metric view

如何修改暴露指标的 uri

我们可以在 conf/config.yamlplugin_attr 修改默认的 uri

名称类型默认值描述
export_uristring“/apisix/prometheus/metrics”暴露指标的 uri

配置示例:

  1. plugin_attr:
  2. prometheus:
  3. export_uri: /apisix/metrics

Grafana 面板

插件导出的指标可以在 Grafana 进行图形化绘制显示。

下载 Grafana dashboard 元数据 并导入到 Grafana 中。

你可以到 Grafana 官方 下载 Grafana 元数据.

Grafana chart-1

Grafana chart-2

Grafana chart-3

Grafana chart-4

可有的指标

  • Status codes: upstream 服务返回的 HTTP 状态码,可以统计到每个服务或所有服务的响应状态码的次数总和。具有的维度:

    名称描述
    codeupstream 服务返回的 HTTP 状态码。
    route请求匹配的 route 的 route_id,未匹配,则默认为空字符串。
    matched_uri请求匹配的 route 的 uri,未匹配,则默认为空字符串。
    matched_host请求匹配的 route 的 host,未匹配,则默认为空字符串。
    service与请求匹配的 route 的 service_id。当路由缺少 service_id 时,则默认为 $host
    consumer与请求匹配的 consumer 的 consumer_name。未匹配,则默认为空字符串。
    node命中的 upstream 节点 ip
  • Bandwidth: 流经 APISIX 的总带宽(可分出口带宽和入口带宽),可以统计到每个服务的带宽总和。具有的维度:

    名称描述
    type带宽的类型(ingressegress)。
    route请求匹配的 route 的 route_id,未匹配,则默认为空字符串。
    service与请求匹配的 route 的 service_id。当路由缺少 service_id 时,则默认为 $host
    consumer与请求匹配的 consumer 的 consumer_name。未匹配,则默认为空字符串。
    node命中的 upstream 节点 ip
  • etcd reachability: APISIX 连接 etcd 的可用性,用 0 和 1 来表示,1 表示可用,0 表示不可用。

  • Connections: 各种的 Nginx 连接指标,如 active(正处理的活动连接数),reading(nginx 读取到客户端的 Header 信息数),writing(nginx 返回给客户端的 Header 信息数),已建立的连接数。

  • Batch process entries: 批处理未发送数据计数器,当你使用了批处理发送插件,比如:sys logger, http logger, sls logger, tcp logger, udp logger and zipkin, 那么你将会在此指标中看到批处理当前尚未发送的数据的数量。

  • Latency: 每个服务的请求用时和 APISIX 处理耗时的直方图。具有的维度:

    名称描述
    type该值可以为apisix, upstreamrequest,分别表示耗时的来源为 APISIX、上游及其总和。
    service与请求匹配的 route 的 service_id。当路由缺少 service_id 时,则默认为 $host
    consumer与请求匹配的 consumer 的 consumer_name。未匹配,则默认为空字符串。
    node命中的 upstream 节点 ip
  • Info: 当前 APISIX 节点信息。

这里是 APISIX 的原始的指标数据集:

  1. $ curl http://127.0.0.1:9091/apisix/prometheus/metrics
  2. # HELP apisix_bandwidth Total bandwidth in bytes consumed per service in Apisix
  3. # TYPE apisix_bandwidth counter
  4. apisix_bandwidth{type="egress",route="",service="",consumer="",node=""} 8417
  5. apisix_bandwidth{type="egress",route="1",service="",consumer="",node="127.0.0.1"} 1420
  6. apisix_bandwidth{type="egress",route="2",service="",consumer="",node="127.0.0.1"} 1420
  7. apisix_bandwidth{type="ingress",route="",service="",consumer="",node=""} 189
  8. apisix_bandwidth{type="ingress",route="1",service="",consumer="",node="127.0.0.1"} 332
  9. apisix_bandwidth{type="ingress",route="2",service="",consumer="",node="127.0.0.1"} 332
  10. # HELP apisix_etcd_modify_indexes Etcd modify index for APISIX keys
  11. # TYPE apisix_etcd_modify_indexes gauge
  12. apisix_etcd_modify_indexes{key="consumers"} 0
  13. apisix_etcd_modify_indexes{key="global_rules"} 0
  14. apisix_etcd_modify_indexes{key="max_modify_index"} 222
  15. apisix_etcd_modify_indexes{key="prev_index"} 35
  16. apisix_etcd_modify_indexes{key="protos"} 0
  17. apisix_etcd_modify_indexes{key="routes"} 222
  18. apisix_etcd_modify_indexes{key="services"} 0
  19. apisix_etcd_modify_indexes{key="ssls"} 0
  20. apisix_etcd_modify_indexes{key="stream_routes"} 0
  21. apisix_etcd_modify_indexes{key="upstreams"} 0
  22. apisix_etcd_modify_indexes{key="x_etcd_index"} 223
  23. # HELP apisix_batch_process_entries batch process remaining entries
  24. # TYPE apisix_batch_process_entries gauge
  25. apisix_batch_process_entries{name="http-logger",route_id="9",server_addr="127.0.0.1"} 1
  26. apisix_batch_process_entries{name="sls-logger",route_id="9",server_addr="127.0.0.1"} 1
  27. apisix_batch_process_entries{name="tcp-logger",route_id="9",server_addr="127.0.0.1"} 1
  28. apisix_batch_process_entries{name="udp-logger",route_id="9",server_addr="127.0.0.1"} 1
  29. apisix_batch_process_entries{name="sys-logger",route_id="9",server_addr="127.0.0.1"} 1
  30. apisix_batch_process_entries{name="zipkin_report",route_id="9",server_addr="127.0.0.1"} 1
  31. # HELP apisix_etcd_reachable Config server etcd reachable from Apisix, 0 is unreachable
  32. # TYPE apisix_etcd_reachable gauge
  33. apisix_etcd_reachable 1
  34. # HELP apisix_http_status HTTP status codes per service in Apisix
  35. # TYPE apisix_http_status counter
  36. apisix_http_status{code="200",route="1",matched_uri="/hello",matched_host="",service="",consumer="",node="127.0.0.1"} 4
  37. apisix_http_status{code="200",route="2",matched_uri="/world",matched_host="",service="",consumer="",node="127.0.0.1"} 4
  38. apisix_http_status{code="404",route="",matched_uri="",matched_host="",service="",consumer="",node=""} 1
  39. # HELP apisix_nginx_http_current_connections Number of HTTP connections
  40. # TYPE apisix_nginx_http_current_connections gauge
  41. apisix_nginx_http_current_connections{state="accepted"} 11994
  42. apisix_nginx_http_current_connections{state="active"} 2
  43. apisix_nginx_http_current_connections{state="handled"} 11994
  44. apisix_nginx_http_current_connections{state="reading"} 0
  45. apisix_nginx_http_current_connections{state="total"} 1191780
  46. apisix_nginx_http_current_connections{state="waiting"} 1
  47. apisix_nginx_http_current_connections{state="writing"} 1
  48. # HELP apisix_nginx_metric_errors_total Number of nginx-lua-prometheus errors
  49. # TYPE apisix_nginx_metric_errors_total counter
  50. apisix_nginx_metric_errors_total 0
  51. # HELP apisix_http_latency HTTP request latency in milliseconds per service in APISIX
  52. # TYPE apisix_http_latency histogram
  53. apisix_http_latency_bucket{type="apisix",route="1",service="",consumer="",node="127.0.0.1",le="1"} 1
  54. apisix_http_latency_bucket{type="apisix",route="1",service="",consumer="",node="127.0.0.1",le="2"} 1
  55. apisix_http_latency_bucket{type="request",route="1",service="",consumer="",node="127.0.0.1",le="1"} 1
  56. apisix_http_latency_bucket{type="request",route="1",service="",consumer="",node="127.0.0.1",le="2"} 1
  57. apisix_http_latency_bucket{type="upstream",route="1",service="",consumer="",node="127.0.0.1",le="1"} 1
  58. apisix_http_latency_bucket{type="upstream",route="1",service="",consumer="",node="127.0.0.1",le="2"} 1
  59. ...
  60. # HELP apisix_node_info Info of APISIX node
  61. # TYPE apisix_node_info gauge
  62. apisix_node_info{hostname="desktop-2022q8f-wsl"} 1

禁用插件

在插件设置页面中删除相应的 json 配置即可禁用 prometheus 插件。APISIX 的插件是热加载的,因此无需重启 APISIX 服务。

  1. curl http://127.0.0.1:9080/apisix/admin/routes/1 -H 'X-API-KEY: edd1c9f034335f136f87ad84b625c8f1' -X PUT -d '
  2. {
  3. "uri": "/hello",
  4. "plugins": {},
  5. "upstream": {
  6. "type": "roundrobin",
  7. "nodes": {
  8. "127.0.0.1:80": 1
  9. }
  10. }
  11. }'