Service Mesh - Istio服务观测篇

2020-12-28 11:18:30 浏览数 (1)

洞察你的服务：使用Kiali观测你的微服务应用

微服务架构可视化的重要性：

  • 痛点：
    • 服务间依赖关系错综复杂
    • 问题排查困难，扯皮甩锅时有发生
  • 可视化的优势：
    • 梳理服务的交互关系
    • 了解应用的行为与状态

什么是 Kiali：

Kiali属于Istio的集成组件之一，是一个用于Istio的可观测性控制台，具有服务网格配置和验证功能。它通过监控网络流量来推断服务拓扑和报告错误，帮助你了解服务网格的结构和运行状况。Kiali提供了详细的度量和基本的Grafana集成，可用于高级查询。

  • 官方定义：
    • Istio 的可观察性控制台
    • 通过服务拓扑帮助你理解服务网格的结构
    • 提供网格的健康状态视图
    • 具有服务网格配置功能
  • 名字含义：源自希腊语，意为望远镜
  • 依赖 Istio 作为宿主，为 Istio 开发有较强的绑定关系
  • Kiali 是 Istio 服务观测的一环

Kiali 的功能：

Kiali 的架构：

从上图可以看到 Kiali 是一个前后端分离的架构，我们可以使用官方提供的配置文件启动 Kiali 的后端组件：

代码语言：javascript复制
[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/kiali.yaml

确认启动成功：

代码语言：javascript复制
[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
kiali-7476977cf9-nwnsg                  1/1     Running   1          33h
...

然后使用如下命令启动 kiali 的前端：

代码语言：javascript复制
[root@m1 ~]# istioctl dashboard kiali --address 192.168.243.138
http://localhost:20001/kiali
  • Tips：这里的 IP 是该虚拟机可被外部访问的 IP

使用浏览器访问 192.168.243.138:20001 ，基本页面如下：

在 “Application” 页面可以查看不同 Namespace 下所部署的应用：

在 “Graph” 页面下可以查看服务之间的总体拓扑，并提供了多种页面操作：

在 “Services” 页面可以查看指定 Namespace 下的服务信息：

点击服务的名称可以进入该服务的详情页：

在 “Workloads” 页面可以查看指定 Namespace 下的工作负载信息：

点击工作负载的名称可以进入该工作负载的详情页：

在 “Istio Config” 页面可以对 Istio 中的资源配置进行查看、编辑及验证：

  • 绿色代表没问题，黄色代表有警告，例如使用了过期的配置项，红色则代表配置有错误

例如 detail 的配置有错误，我们可以点击进去查看出错的地方，并且根据提示进行修改，然后点击 “Save” 保存即可：

在 “Istio Config” 页面还有个向导功能，可以让我们创建 Istio 的资源。如下：

但目前只提供了少数的几个资源类型可以创建：

指标：使用Prometheus收集指标

Prometheus 是一个开源的监控系统和时间序列数据库。你可以使用 Prometheus 来记录跟踪 Istio 和服务网格内应用程序运行状况的指标。然后可以使用Grafana和Kiali等工具对监控指标进行可视化。

Prometheus 的功能：

Prometheus 的架构：

Prometheus 与 Istio 的集成也比较简单，我们可以使用官方提供的配置文件启动 Prometheus Server：

代码语言：javascript复制
[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/prometheus.yaml

确认启动成功：

代码语言：javascript复制
[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
prometheus-7bfddb8dbf-4mnzr             2/2     Running   2          33h
...

然后使用如下命令启动 Prometheus 的 Web UI ：

代码语言：javascript复制
[root@m1 ~]# istioctl dashboard prometheus --address 192.168.243.138
http://localhost:9090

使用浏览器访问 192.168.243.138:9090，页面如下：

通过官方提供的配置文件启动 Prometheus Server 后，它就会自动收集 Istio 的监控指标了。此时我们就可以通过 Prometheus 收集指标并查看指标数据了，例如查看 Istio 的请求总数，该指标属于服务指标：

Envoy 代理指标则以 envoy 开头，可以输入前缀进行查询：

除以上两类指标外还有控制平面指标，这类指标是 Istio 提供的一系列自我监控指标，这些指标用于监控 Istio 本身的行为。

在 “Status -> Targets” 页面可以查看监控目标的状态：

Istio 1.5 之后提供的遥测指标：

  • 请求总数（istio_requests_total）
  • 请求时长（istio_request_duration_milliseconds）
  • 请求大小（istio_request_bytes）
  • 响应大小（istio_response_bytes）
  • TCP 发送字节数（istio_tcp_sent_bytes_total）
  • TCP 接受字节数（istio_tcp_received_bytes_total）
  • TCP 连接打开数（istio_tcp_connections_opened_total）
  • TCP 连接关闭数（istio_tcp_connections_closed_total）

Istio 1.5 之前是通过Mixer来进行指标收集的，如下图：

  • 首先Envoy需要调用Mixer来上报指标信息，Mixer则会提供一个 metrics 这样的接口给 Prometheus 去抓取指标数据。因为每次请求进入代理时都需要调用Mixer上报数据，导致了一些性能问题，例如额外的资源占用以及请求延迟这样的情况，所以1.5之后Mixer就被废弃了

Istio 1.5 之后就直接是 Envoy 和 Prometheus 进行交互，如下图：

  • 无论是代理级别的指标还是服务级别的指标，都是通过 Envoy 直接去获取的，这就省去了一层与Mixer的交互。尽管更改后的版本在性能上有了大幅提升，但还是存在一些问题。首先因为取消了Mixer这样的中心化管理，所以导致 Envoy 代理需要自己去上传指标数据，不是很方便，扩展性变弱了。

可同时解决性能与扩展性问题最可行的一个方法就是未来在 Envoy 上使用 WebAssembly 这样的技术。WebAssembly in Envoy：

  • 解决静态化编译（构建时）的弊端
  • 优势：
    • 无需修改 Envoy
    • 避免远程调用
    • 隔离性/安全/多样性
    • 可移植/可维护

关于收集、查询指标的更多方式可以参考官方文档：

  • https://istio.io/latest/docs/tasks/observability/metrics/

监控：使用Grafana查看系统的整体状态

Grafana 的功能：

  • Grafana 只是一个功能强大的可视化分析平台，自身并不包含数据源，所以通常需要配合 Prometheus 等数据源使用。让 Grafana 从Prometheus 中读取数据进行各种可视化展示，可以弥补 Prometheus 自带的可视化界面的不足

Istio 默认提供了一些 Grafana Dashboard：

  • Mesh Dashboard：查看应用（服务）数据
    • 网格数据总览
    • 服务视图
    • 工作负载视图
  • Performance Dashboard：查看 Istio 自身（各组件）数据
    • Istio 系统总览
    • 各组件负载情况

关于 Grafana 与 Istio 的集成，官方也提供了相应的配置文件，使用如下命令就可以启动 Grafana ：

代码语言：javascript复制
[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/grafana.yaml

确认启动成功：

代码语言：javascript复制
[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
grafana-784c89f4cf-s26lp                1/1     Running   1          33h
...

然后使用如下命令启动 Grafana 的 Web UI ：

代码语言：javascript复制
[root@m1 ~]# istioctl dashboard grafana --address 192.168.243.138
http://localhost:3000

使用浏览器访问 192.168.243.138:3000 ，首页如下：

现在我们就可以使用 Grafana 查看指标生成的 Istio Dashboard了，进入 “Home”，可以看到 Istio 提供的 Dashboard：

打开 “Istio Mesh Dashboard” 查看网格数据总览，展示效果如下：

点击下方的 Service 名称可以进入 “Istio Service Dashboard” 查看服务视图：

“Istio Workload Dashboard” 查看工作负载视图：

“Istio Performance Dashboard” 查看资源使用总览：

日志：如何获取Envoy的日志并进行调试

最简单的一种Istio日志记录是Envoy的访问日志记录。访问日志（Access logs）提供了一种从单个工作负载实例的角度监视和理解行为的方法，通过查看Envoy日志可以了解流量信息、定位问题。Envoy代理将访问信息打印到其标准输出。然后，使用kubectl logs命令可以打印Envoy容器的标准输出。

这一小节将演示如何获取Envoy的访问日志。首先，确认 Envoy 日志配置已开启（默认是开启的），可使用如下命令开启：

代码语言：javascript复制
$ istioctl install <flags-you-used-to-install-Istio> --set meshConfig.accessLogFile=/dev/stdout

还是以Bookinfo应用作为示例：

代码语言：javascript复制
[root@m1 ~]# kubectl get pods
NAME                              READY   STATUS    RESTARTS   AGE
details-v1-79c697d759-wpxlj       2/2     Running   2          9h
productpage-v1-65576bb7bf-4bwwr   2/2     Running   2          9h
ratings-v1-7d99676f7f-cfbw4       2/2     Running   2          9h
reviews-v1-987d495c-8n5mv         2/2     Running   2          9h
reviews-v2-6c5bf657cf-rzn4q       2/2     Running   2          9h
reviews-v3-5f7b9f4f77-29454       2/2     Running   2          9h
[root@m1 ~]#

访问Bookinfo应用的服务后会产生流量输出，此时可以使用如下命令查看 Envoy（istio-proxy）的日志输出：

代码语言：javascript复制
[root@m1 ~]# kubectl logs -l app=productpage -c istio-proxy
...
[2020-12-23T01:34:30.349Z] "GET /details/0 HTTP/1.1" 200 - "-" 0 178 15 14 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36" "1e449e4d-0f3f-928b-9add-8b8ace3f5feb" "details:9080" "172.22.152.212:9080" outbound|9080||details.default.svc.cluster.local 172.22.152.206:42074 10.104.2.32:9080 172.22.152.206:56744 - default
[2020-12-23T01:34:30.376Z] "GET /reviews/0 HTTP/1.1" 200 - "-" 0 375 948 948 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36" "1e449e4d-0f3f-928b-9add-8b8ace3f5feb" "reviews:9080" "172.22.78.148:9080" outbound|9080||reviews.default.svc.cluster.local 172.22.152.206:52008 10.100.239.139:9080 172.22.152.206:55806 - default

访问日志默认的格式是 TEXT 格式，不利于查看日志项的含义，我们可以将日志格式设置为JSON，这样可以比较方便观察其日志项，使用如下命令将accessLogEncoding设置为JSON：

代码语言：javascript复制
$ istioctl install <flags-you-used-to-install-Istio> --set meshConfig.accessLogEncoding=JSON

将日志格式设置为JSON后，此时输出的日志内容如下：

代码语言：javascript复制
{"upstream_cluster":"outbound|9080||reviews.default.svc.cluster.local","downstream_remote_address":"172.22.152.206:32852","authority":"reviews:9080","path":"/reviews/0","protocol":"HTTP/1.1","upstream_service_time":"735","upstream_local_address":"172.22.152.206:53320","duration":735,"route_name":"default","downstream_local_address":"10.100.239.139:9080","upstream_transport_failure_reason":null,"user_agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36","response_code":200,"response_flags":"-","start_time":"2020-12-23T01:45:58.932Z","method":"GET","request_id":"12bc8456-65b1-9a34-96e6-0fa9f0525f23","upstream_host":"172.22.152.209:9080","x_forwarded_for":null,"requested_server_name":null,"bytes_received":0,"bytes_sent":379}

将JSON格式化后，如下：

日志信息中有五个重要的字段，也就是所谓的Envoy 流量五元组：

  • Envoy 流量五元组可以让你清晰地知道，流量是从哪里来，会到哪里去，所以五元组是 Envoy 日志中非常重要的概念

调试关键字段：response_flags，一些请求的错误标志会被赋值给该字段。常见错误标志有如下几种：

  • UH：upstream cluster 中没有健康的 host，503
  • UF：upstream 连接失败，503
  • UO：upstream overflow（熔断）
  • NR：没有路由配置，404
  • URX：请求被拒绝因为限流或最大连接次数
  • 更多信息可参考：官方文档

Envoy 的一些日志配置项：

分布式追踪：使用Jeager对应用进行分布式追踪

分布式追踪概念

  • 分析和监控应用的监控方法
  • 查找故障点、分析性能问题
  • 起源于 Google 的 Dapper
  • 随着分布式追踪技术的发展，衍生出了OpenTracing：API 规范、框架、公共库的组合

Istio支持通过 Envoy 代理进行分布式追踪。代理会代表其代理的应用程序自动生成跟踪范围，只需要应用程序转发适当的请求上下文。

Istio支持许多跟踪后端，包括Zipkin、Jaeger、Lightstep和Datadog。本小节将介绍 Istio 集成 Jaeger 实现分布式追踪。

什么是 Jaeger：

  • 开源、端到端的分布式追踪系统
  • 针对复杂的分布式系统，对业务链路进行监控和问题排查

分布式追踪的两个重要术语：

  • Span：
    • 逻辑单元
    • 有操作名、执行时间
    • 嵌套、有序、因果关系
  • Trace：
    • 数据/执行路径
    • Span 的组合

Jaeger 的架构：

核心组件：

  • Client libraries：客户端公共库，支持不同语言
  • Agent：用于从应用抓取Span，并发送给Collector
  • Collector：收集器，从应用层收集Span数据，并发送给存储系统（DB）
  • Query：相当于查询引擎，用于提供在页面上查询数据的能力
  • Ingester：与Kafka配合使用，相当于Kafka的一个Consumer，消费数据存储到DB中

接下来我们把 Jaeger 集成到 Istio。首先，确认 Istio 开启了追踪选项，可以使用如下命令开启：

代码语言：javascript复制
$ istioctl install <flags-you-used-to-install-Istio> --set values.tracing.enabled=true

我们可以使用官方提供的配置文件快速将 Jaeger 集成到 Istio 中：

代码语言：javascript复制
[root@m1 ~]# kubectl apply -f /usr/local/istio-1.8.1/samples/addons/jaeger.yaml

确认 Jaeger 启动成功：

代码语言：javascript复制
[root@m1 ~]# kubectl get pods -n istio-system 
NAME                                    READY   STATUS    RESTARTS   AGE
jaeger-7f78b6fb65-gchw2                 1/1     Running   2          46h
...

然后使用如下命令启动 Jaeger 的Web UI：

代码语言：javascript复制
[root@m1 ~]# istioctl dashboard jaeger --address 192.168.243.138
http://localhost:16686

使用浏览器访问 Jaeger 的Web UI：

然后访问 Bookinfo 应用页面生成一些 trace 数据后，到 Jaeger 查询 trace 数据：

点击任意 Span 可以查看其详细 trace 数据：

分布式 服务网格 json

0 人点赞