调试 Envoy 和 Pilot

Istio 提供了两个非常有价值的命令来帮助诊断流量管理配置相关的问题,proxy-statusproxy-config 命令。proxy-status 命令容许您获取网格的概况,并识别出导致问题的代理。proxy-config 可以被用于检查 Envoy 配置和诊断问题。

如果您想尝试以下的命令,需要:

或者

  • 使用类似的命令在 Kubernetes 集群中运行您自己的应用。

获取网格概况

proxy-status 命令容许您获取网格的概况。如果您怀疑某一个 sidecar 没有接收到配置或配置不同步时,proxy-status 将告诉您原因。

  1. $ istioctl proxy-status
  2. PROXY CDS LDS EDS RDS PILOT VERSION
  3. details-v1-6dcc6fbb9d-wsjz4.default SYNCED SYNCED SYNCED SYNCED istio-pilot-75bdf98789-tfdvh 1.1.2
  4. istio-egressgateway-c49694485-l9d5l.istio-system SYNCED SYNCED SYNCED NOT SENT istio-pilot-75bdf98789-tfdvh 1.1.2
  5. istio-ingress-6458b8c98f-7ks48.istio-system SYNCED SYNCED SYNCED NOT SENT istio-pilot-75bdf98789-n2kqh 1.1.2
  6. istio-ingressgateway-7d6874b48f-qxhn5.istio-system SYNCED SYNCED SYNCED SYNCED istio-pilot-75bdf98789-n2kqh 1.1.2
  7. productpage-v1-6c886ff494-hm7zk.default SYNCED SYNCED SYNCED STALE istio-pilot-75bdf98789-n2kqh 1.1.2
  8. ratings-v1-5d9ff497bb-gslng.default SYNCED SYNCED SYNCED SYNCED istio-pilot-75bdf98789-n2kqh 1.1.2
  9. reviews-v1-55d4c455db-zjj2m.default SYNCED SYNCED SYNCED SYNCED istio-pilot-75bdf98789-n2kqh 1.1.2
  10. reviews-v2-686bbb668-99j76.default SYNCED SYNCED SYNCED SYNCED istio-pilot-75bdf98789-tfdvh 1.1.2
  11. reviews-v3-7b9b5fdfd6-4r52s.default SYNCED SYNCED SYNCED SYNCED istio-pilot-75bdf98789-n2kqh 1.1.2

如果列表中缺少代理,这意味着它目前没有连接到 Pilot 实例,因此不会接收任何配置。

  • SYNCED 意思是 Envoy 知晓了 Pilot 已经将最新的配置发送给了它。
  • NOT SENT 意思是 Pilot 没有发送任何信息给 Envoy。这通常是因为 Pilot 没什么可发送的。
  • STALE 意思是 Pilot 已经发送了一个更新到 Envoy,但还没有收到应答。这通常意味着 Envoy 和 Pilot 之间存在网络问题,或者 Istio 自身的 bug。

检查 Envoy 和 Istio Pilot 的差异

通过提供代理 ID,proxy-status 命令还可以用来检查 Envoy 已加载的配置和 Pilot 发送给它的配置有什么异同,这可以帮您准确定位哪些配置是不同步的,以及问题出在哪里。

  1. $ istioctl proxy-status details-v1-6dcc6fbb9d-wsjz4.default
  2. --- Pilot Clusters
  3. +++ Envoy Clusters
  4. @@ -374,36 +374,14 @@
  5. "edsClusterConfig": {
  6. "edsConfig": {
  7. "ads": {
  8. }
  9. },
  10. "serviceName": "outbound|443||public-cr0bdc785ce3f14722918080a97e1f26be-alb1.kube-system.svc.cluster.local"
  11. - },
  12. - "connectTimeout": "1.000s",
  13. - "circuitBreakers": {
  14. - "thresholds": [
  15. - {
  16. -
  17. - }
  18. - ]
  19. - }
  20. - }
  21. - },
  22. - {
  23. - "cluster": {
  24. - "name": "outbound|53||kube-dns.kube-system.svc.cluster.local",
  25. - "type": "EDS",
  26. - "edsClusterConfig": {
  27. - "edsConfig": {
  28. - "ads": {
  29. -
  30. - }
  31. - },
  32. - "serviceName": "outbound|53||kube-dns.kube-system.svc.cluster.local"
  33. },
  34. "connectTimeout": "1.000s",
  35. "circuitBreakers": {
  36. "thresholds": [
  37. {
  38. }
  39. Listeners Match
  40. Routes Match

从这儿可以看到,监听器和路由是匹配的,但集群不同步。

深入 Envoy 配置

proxy-config 命令可以用来查看给定的 Envoy 是如何配置的。这样就可以通过 Istio 配置和自定义资源来查明任何您无法检测到的问题。下面的命令为给定 Pod 提供了集群、监听器或路由的基本概要(当需要时可以为监听器或路由改变集群):

  1. $ istioctl proxy-config cluster -n istio-system istio-ingressgateway-7d6874b48f-qxhn5
  2. SERVICE FQDN PORT SUBSET DIRECTION TYPE
  3. BlackHoleCluster - - - STATIC
  4. details.default.svc.cluster.local 9080 - outbound EDS
  5. heapster.kube-system.svc.cluster.local 80 - outbound EDS
  6. istio-citadel.istio-system.svc.cluster.local 8060 - outbound EDS
  7. istio-citadel.istio-system.svc.cluster.local 15014 - outbound EDS
  8. istio-egressgateway.istio-system.svc.cluster.local 80 - outbound EDS
  9. ...

为了调试 Envoy 您需要理解 Envoy 集群、监听器、路由、endpoints 以及它们是如何交互的。我们将使用带有 -o json 参数的 proxy-config 命令,根据标志过滤出并跟随特定的 Envoy,它将请求从 productpage pod 发送到 reviews pod 9080 端口。

  1. 如果您在一个 Pod 上查询监听器概要信息,您将注意到 Istio 生成了下面的监听器:
    • 0.0.0.0:15001 监听器接收所有进出 Pod 的流量,然后转发请求给一个虚拟监听器。
    • 每个服务 IP 一个虚拟监听器,针对每一个非 HTTP 的外部 TCP/HTTPS 流量。
    • Pod IP 上的虚拟监听器,针对内部流量暴露的端口。
    • 0.0.0.0 监听器,针对外部 HTTP 流量的每个 HTTP 端口。
  1. $ istioctl proxy-config listeners productpage-v1-6c886ff494-7vxhs
  2. ADDRESS PORT TYPE
  3. 172.21.252.250 15005 TCP <--+
  4. 172.21.252.250 15011 TCP |
  5. 172.21.79.56 42422 TCP |
  6. 172.21.160.5 443 TCP |
  7. 172.21.157.6 443 TCP |
  8. 172.21.117.222 443 TCP |
  9. 172.21.0.10 53 TCP |
  10. 172.21.126.131 443 TCP | Receives outbound non-HTTP traffic for relevant IP:PORT pair from listener `0.0.0.0_15001`
  11. 172.21.160.5 31400 TCP |
  12. 172.21.81.159 9102 TCP |
  13. 172.21.0.1 443 TCP |
  14. 172.21.126.131 80 TCP |
  15. 172.21.119.8 443 TCP |
  16. 172.21.112.64 80 TCP |
  17. 172.21.179.54 443 TCP |
  18. 172.21.165.197 443 TCP <--+
  19. 0.0.0.0 9090 HTTP <-+
  20. 0.0.0.0 8060 HTTP |
  21. 0.0.0.0 15010 HTTP |
  22. 0.0.0.0 15003 HTTP |
  23. 0.0.0.0 15004 HTTP |
  24. 0.0.0.0 15014 HTTP | Receives outbound HTTP traffic for relevant port from listener `0.0.0.0_15001`
  25. 0.0.0.0 15007 HTTP |
  26. 0.0.0.0 8080 HTTP |
  27. 0.0.0.0 9091 HTTP |
  28. 0.0.0.0 9080 HTTP |
  29. 0.0.0.0 80 HTTP <-+
  30. 0.0.0.0 15001 TCP // Receives all inbound and outbound traffic to the pod from IP tables and hands over to virtual listener
  31. 172.30.164.190 9080 HTTP // Receives all inbound traffic on 9080 from listener `0.0.0.0_15001`
  1. 从上面的信息可以看到,每一个 sidecar 有一个绑定到 0.0.0.0:15001 的监听器,来确定 IP 表将所有进出 Pod 的流量路由到哪里。监听器设置 useOriginalDst 为 true 意味着它将请求传递给最适合原始请求目的地的监听器。如果找不到匹配的虚拟监听器,它会将请求发送到直接连接到目的地的 PassthroughCluster

    1. $ istioctl proxy-config listeners productpage-v1-6c886ff494-7vxhs --port 15001 -o json
    2. [
    3. {
    4. "name": "virtual",
    5. "address": {
    6. "socketAddress": {
    7. "address": "0.0.0.0",
    8. "portValue": 15001
    9. }
    10. },
    11. "filterChains": [
    12. {
    13. "filters": [
    14. {
    15. "name": "envoy.tcp_proxy",
    16. "config": {
    17. "cluster": "PassthroughCluster",
    18. "stat_prefix": "PassthroughCluster"
    19. }
    20. }
    21. ]
    22. }
    23. ],
    24. "useOriginalDst": true
    25. }
    26. ]
  2. 我们的请求是到端口 9080 的出站 HTTP 请求,它将被传递给 0.0.0.0:9080 的虚拟监听器。这一监听器将检索在它配置的 RDS 里的路由配置。在这个例子中它将寻找 Pilot(通过 ADS)配置在 RDS 中的路由 9080

    1. $ istioctl proxy-config listeners productpage-v1-6c886ff494-7vxhs -o json --address 0.0.0.0 --port 9080
    2. ...
    3. "rds": {
    4. "config_source": {
    5. "ads": {}
    6. },
    7. "route_config_name": "9080"
    8. }
    9. ...
  3. 对每个服务,9080 路由配置只有一个虚拟主机。我们的请求会走到 reviews 服务,因此 Envoy 将选择一个虚拟主机把请求匹配到一个域。一旦匹配到,Envoy 会寻找请求匹配到的第一个路由。本例中我们没有设置任何高级路由规则,因此路由会匹配任何请求。这一路由告诉 Envoy 发送请求到 outbound|9080||reviews.default.svc.cluster.local 集群。

    1. $ istioctl proxy-config routes productpage-v1-6c886ff494-7vxhs --name 9080 -o json
    2. [
    3. {
    4. "name": "9080",
    5. "virtualHosts": [
    6. {
    7. "name": "reviews.default.svc.cluster.local:9080",
    8. "domains": [
    9. "reviews.default.svc.cluster.local",
    10. "reviews.default.svc.cluster.local:9080",
    11. "reviews",
    12. "reviews:9080",
    13. "reviews.default.svc.cluster",
    14. "reviews.default.svc.cluster:9080",
    15. "reviews.default.svc",
    16. "reviews.default.svc:9080",
    17. "reviews.default",
    18. "reviews.default:9080",
    19. "172.21.152.34",
    20. "172.21.152.34:9080"
    21. ],
    22. "routes": [
    23. {
    24. "match": {
    25. "prefix": "/"
    26. },
    27. "route": {
    28. "cluster": "outbound|9080||reviews.default.svc.cluster.local",
    29. "timeout": "0.000s"
    30. },
    31. ...
  4. 此集群配置为从 Pilot(通过 ADS)检索关联的 endpoints。所以 Envoy 会使用 serviceName 字段作为主键,来检查 endpoint 列表并把请求代理到其中之一。

    1. $ istioctl proxy-config cluster productpage-v1-6c886ff494-7vxhs --fqdn reviews.default.svc.cluster.local -o json
    2. [
    3. {
    4. "name": "outbound|9080||reviews.default.svc.cluster.local",
    5. "type": "EDS",
    6. "edsClusterConfig": {
    7. "edsConfig": {
    8. "ads": {}
    9. },
    10. "serviceName": "outbound|9080||reviews.default.svc.cluster.local"
    11. },
    12. "connectTimeout": "1.000s",
    13. "circuitBreakers": {
    14. "thresholds": [
    15. {}
    16. ]
    17. }
    18. }
    19. ]
  5. 要查看此集群当前可用的 endpoint,请使用 proxy-config endpoints 命令。

    1. $ istioctl proxy-config endpoints productpage-v1-6c886ff494-7vxhs --cluster "outbound|9080||reviews.default.svc.cluster.local"
    2. ENDPOINT STATUS OUTLIER CHECK CLUSTER
    3. 172.17.0.17:9080 HEALTHY OK outbound|9080||reviews.default.svc.cluster.local
    4. 172.17.0.18:9080 HEALTHY OK outbound|9080||reviews.default.svc.cluster.local
    5. 172.17.0.5:9080 HEALTHY OK outbound|9080||reviews.default.svc.cluster.local

检查 bootstrap 配置

到目前为止,我们已经查看了从 Pilot 检索到的配置(大部分),然而 Envoy 需要一些 bootstrap 配置,其中包括诸如在何处可以找到 Pilot 之类的信息。使用下面的命令查看:

  1. $ istioctl proxy-config bootstrap -n istio-system istio-ingressgateway-7d6874b48f-qxhn5
  2. {
  3. "bootstrap": {
  4. "node": {
  5. "id": "router~172.30.86.14~istio-ingressgateway-7d6874b48f-qxhn5.istio-system~istio-system.svc.cluster.local",
  6. "cluster": "istio-ingressgateway",
  7. "metadata": {
  8. "POD_NAME": "istio-ingressgateway-7d6874b48f-qxhn5",
  9. "istio": "sidecar"
  10. },
  11. "buildVersion": "0/1.8.0-dev//RELEASE"
  12. },
  13. ...

验证到 Istio Pilot 的连通性

验证与 Pilot 的连通性是一个有用的故障排除步骤。服务网格内的每个代理容器都应该能和 Pilot 通信。这可以通过几个简单的步骤来实现:

  1. 获取 Istio Ingress pod 的名称:

    1. $ INGRESS_POD_NAME=$(kubectl get po -n istio-system | grep ingressgateway\- | awk '{print$1}'); echo ${INGRESS_POD_NAME};
  2. 通过 exec 进入 Istio Ingress pod:

    1. $ kubectl exec -it $INGRESS_POD_NAME -n istio-system /bin/bash
  3. 使用 curl 测试与 Pilot 的连通性。下面的示例使用了默认的 Pilot 配置参数和开启双向 TLS 来调用 v1 注册 API:

    1. $ curl -k --cert /etc/certs/cert-chain.pem --cacert /etc/certs/root-cert.pem --key /etc/certs/key.pem https://istio-pilot:8080/debug/edsz

    如果双向 TLS 是关闭的:

    1. $ curl http://istio-pilot:8080/debug/edsz

对网格内的每个服务,您将会收到一个响应,列举了 “service-key” 和 “hosts”。

Istio 使用的 Envoy 版本是什么?

要在部署中找出 Envoy 的版本,您可以通过 exec 进入容器并查询 server_info endpoint:

  1. $ kubectl exec -it PODNAME -c istio-proxy -n NAMESPACE pilot-agent request GET server_info
  2. {
  3. "version": "48bc83d8f0582fc060ef76d5aa3d75400e739d9e/1.12.0-dev/Clean/RELEASE/BoringSSL"
  4. }

相关内容

在 Istio 中使用 MOSN:另一个数据平面

Istio 的另一个 Sidecar 代理。

Mixer 配置模型

描述 Istio 策略执行和遥测机制的配置模型。

可观察性

描述 Istio 提供的遥测和监控特性。

安装 Istio CNI 插件

安装并使用 Istio CNI 插件,可以让运维人员用更低的权限来部署服务。

流量管理

描述 Istio 多样的流量路由和控制特性。