No.178# 混沌工程相关内容梳理

引言

随着公司规模业务的快速增长，数以千计甚至万计的微服务，依赖的各类组件越来越多。

分布式体系架构体系越来越复杂，没有任何一个人能够掌控所有复杂的耦合性。

也就是说复杂性无法避免，不可能再回到单体应用，也无法彻底消除这种复杂性。

需要考虑的是如何应对这种复杂性问题。

一、混沌工程要点梳理

在《混沌工程--复杂系统韧性实现之道》给出了对了混沌工程的定义：

混沌工程在分布式系统上进行实验的学科，目的是建立对该系统能够能够承受生产环境的动荡条件的信心。

混沌工程原则5条黄金标准：

• 建立关于稳态行为的假说
• 多样化的引入现实世界的事件
• 在生产环境中进行实验
• 持续运行自动化实验
• 最小化爆炸半径

稳态行为需要关键指标衡量，所以监控的关键指标就特别重要。

多样化的引入现实世界的事件，注意演练case的质量，多个视角观测，不拘役简单实现，也不忽略用户体验。

在生产环境中进行实验，其实刚起步阶段基本都是在非生产环境执行的，随着成熟度的提升，逐步在生产环境演练。

持续运行自动化实验，从最开始拉着运维手动干，逐步沉淀到混动系统中。

最小化爆炸半径，提升精准打击能力，某个集群、某个节点、某个应用、某个接口、某次调用。

通过混沌工程建立一种文化，在不确定的结果出现时保持系统的韧性。

通过混沌工程不断探索未知、将未知变为所知、提升应对不确定风险的韧性。

二、混动工程平台建设

构建蓝绿对抗平台：案例编排、演练自动化、沉淀案例、统计可视化、成熟度度量。

故障点注入

• 注入的故障类型
• 注入的目标服务
• 注入的故障内容
• 注入的故障监控

备注：例如故障监控关联日志、链路、操作记录等。

可视化统计

• 故障演练执行CASE数量
• 攻防成功失败CASE数量
• 演练发现问题数量
• 演练故障类型分布
• 演练问题类型分布

成熟度模型

• 成熟程度的等级
• 引发的故障等级
• 演练的时间范围
• 故障的持续时间
• 故障的恢复能力

三、精准打击实现方法

「最小化爆炸半径」 是混沌工程的5条黄金法则之一，下面梳理两种精准打击方法。

1、通过流量染色实现精准打击

下面对服务C做故障演练，例如：注入对某个方法注入超时5秒故障，此时对A服务和B服务均会造成故障。

可以通过对故障流量染色，只对属于故障演练的请求注入故障。

另外可以对iptables出口流量干扰，制造请求级故障。

2、通过输入参数控制爆炸半径

例如：通过拦截器分析入参，对输入用户ID在特定范围的请求，篡改返回参数制造故障。

四、强弱依赖自动判定

强弱依赖治理 平台能力在强弱依赖治理演进上可以考虑下：梳理强弱依赖主要是保障核心服务的稳定性 ，避免由于弱依赖服务故障对核心服务造成拖累。

服务之间的依赖：微服务之间的上下游调用形成服务之间的依赖。

强依赖：服务A调用服务B，B服务出现故障时A服务也不可用

弱依赖：服务A调用服务B，B服务出现故障时A服务仍然可用

方式一：强弱依赖人工梳理

通过走查服务代码核心逻辑，识别哪些链路接口是核心服务，哪些是非核心链路。

针对这些非核心链路逻辑能够拆分到非核心服务中去，针对非核心链路可以配置降级措施。

方式二、通过对依赖接口注入故障

步骤1：为选定服务或接口拉取依赖关系

步骤2：为接口依赖设置预判预期

步骤3：为依赖接口注入故障并引入流量

步骤4：监控指标并观测影响

步骤5：强弱依赖结果判定

五、常见通用故障Case梳理