一 可观测架构
1 可观测数据处理架构设计
- 流水日志
- 日志index以及检索（es）
- 监控指标（组件模调 业务指标）
- 告警指标（参考监控指标，分别划分不同场景的阈值 告警级别 处置方法=sla）
处理架构选型推荐开源
2 系统可观测
白盒：描绘出系统架构，以及系统的数据流链路，在数据链路上关键处打点上报日志 指标
3 用户可观测
黑盒：决定以什么方式告知用户异常（push？console前台监控？）
二 可观测前置条件
1 服务状态感知 （client视角，结构化日志、模调指标）
2 服务状态采集（数据server视角，es，普米）
3 展示平台（grafana，es）
4 告警=事件告警（无状态） 指标告警（有状态）
三 观测维度
1 业务观测
- 流量
- 时延
- 错误
- 饱和度（特定状态）
2 资源监控
- 系统自身
- 第三方依赖、中间件
3 性能监控（业务定义的关注性能）
4 租户状态跟踪（大客户监控面板）
5 全景监控大盘
