分布式事务TCC(Hmily)

2022-08-31 15:41:33 浏览数 (1)

大家好,又见面了,我是你们的朋友全栈君。

1 什么是TCC事务?

TCC是Try、Confirm、Cancel三个词语,TCC分布式事务的三个操作:预处理Try、确认Confirm、撤销Cancel。Try操作业务检查以及资源预留,Confirm做业务确认操作,Cancel实现一个月try相反的操作即为回滚操作。Try操作全部成功,TM将会发起所有分支事务的Confirm操作,如Confirm/Cancel操作失败,TM进行重试。

分支事务失败的情况:

TCC分了三个阶段: (1)Try阶段是做业务检查以及资源预留,此阶段仅是一个初步操作,它和后续的Confirm 一起才能真正构成一个完整的业务逻辑。 (2)Confirm阶段是做确认提交,Try阶段所有分支事务执行成功后开始执行Confirm。通常情况下,采用TCC认为Confirm阶段是不会出错,是要Try成功,Confirm一定会成功,如果Confirm阶段真的出错了,需要引入重试机制或者人工处理。 (3)Cancel阶段是在业务执行错误需要回滚的状态下执行分支事务的业务取消,预留资源释放。如果,采用TCC认为Cancel阶段也是一定成功的。如Cancel阶段真的错误了,也需要重试机制或者人工处理。

TM事务管理器: TM事务管理器可以实现为独立的服务,也可让全局事务发起者充当TM的角色,TM在发起全局事务时生成全局事务记录,全局事务ID贯穿整个分布事务调用链条,用来记录事务上下文,追踪和记录状态,Confirm和Cancel失败需进行重试,实现幂等,幂等性时至同一个操作无论请求多少次,结果都是一样。

TCC需要注意三个异常处理,分别是空回滚、幂等、悬挂 (1)空回滚 在没有调用 TCC 资源 Try 方法的情况下,调用了二阶段的 Cancel 方法,Cancel 方法需要识别出这是一个空回滚,然后直接返回成功。出现原因是当一个分支事务所在服务宕机或网络异常,分支事务调用记录为失败,这个时候其实是没有执行Try阶段,当故障恢复后,分布式事务进行回滚则会调用二阶段的Cancel方法,从而形成空回滚。

解决思路是关键就是要识别出这个空回滚。思路很简单就是需要知道一阶段是否执行,如果执行了,那就是正常回滚;如果没执行,那就是空回滚。前面已经说过TM在发起全局事务时生成全局事务记录,全局事务ID贯穿整个分布式事务调用链条。再额外增加一张分支事务记录表,其中有全局事务 ID 和分支事务 ID,第一阶段 Try 方法里会插入一条记录,表示一阶段执行了。Cancel 接口里读取该记录,如果该记录存在,则正常回滚;如果该记录不存在,则是空回滚。 (2)幂等 通过前面介绍已经了解到,为了保证TCC二阶段提交重试机制不会引发数据不一致,要求 TCC 的二阶段 Try、Confirm 和 Cancel 接口保证幂等,这样不会重复使用或者释放资源

解决思路在上述“分支事务记录”中增加执行状态,每次执行前都查询该状态。 (3) 悬挂 悬挂就是对于一个分布式事务,其二阶段 Cancel 接口比 Try 接口先执行。

出现原因是在 RPC 调用分支事务try时,先注册分支事务,再执行RPC调用,如果此时 RPC 调用的网络发生拥堵,通常 RPC 调用是有超时时间的,RPC 超时以后,TM就会通知RM回滚该分布式事务,可能回滚完成后,RPC 请求才到达参与者真正执行,而一个 Try 方法预留的业务资源,只有该分布式事务才能使用,该分布式事务第一阶段预留的业务资源就再也没有人能够处理了,对于这种情况,我们就称为悬挂,即业务资源预留后没法继续处理。

解决思路是如果二阶段执行完成,那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下,“分支事务记录”表中是否已经有二阶段事务记录,如果有则不执行Try。

2 Hmily

Hmily是高性能分布式事务TCC开源框架,基于Java语言开发(JDK1.8)支持Dubbo,Spring cloud等RPC框架进行分布式事务 (1)支持嵌套事务 (2)采用disruptor框架进行事务日志的异步读写, (3)支持springBoot-starter 项目启动, (4)RPC框架支持:dubbo、motan、spring cloud (5)本地事务存储支持:redis、mongodb、zookeeper、file、MySQL (6)事务日志序列支持:Java、hessian、kryo、protostuff (7)采用aspect aop切面思想与spring无缝集成,支持集群 (8)RPC事务回复,超时异常回复等 Hmily利用Aop对参与分布式事务的本地方法与远程方法进行拦截处理,通过多方拦截,事务参与者能透明的调用到另一方的Try、confirm、cancel方法;床底事务上下文;并记录事务日志、进行补偿和重试,Hmily不需要事务协调服务,但需要提供一个数据库(MySQL/mongedb/zookeeper/redis/file)用来进行日子存储。 Hmily实现的TCC服务与普通的服务一样,只需要一个接口,也就是她的try业务,confirm/cancel业务逻辑,只是因为全局事务提交/回滚的需要才提供的。因此confirm/cancel业务只需要被Hmily TCC事务框架发现,不需要被调用它的其他业务服务

案列分析:

本实例通过Hmily实现TCC分布式事务,模拟两个账户的转账交易过程。两个账户分别在不同的银行(张三在bank1、李四在bank2),bank1、bank2是两个微服务。交易过程是,张三给李四转账指定金额。上述交易步骤,要么一起成功,要么一起失败,必须是一个整体性的事务

案列逻辑: 张三:

代码语言:javascript复制
try:
	try幂等校验
	try悬挂处理
	检查余额是否够100元
	扣减100元
	
confirm:
	空

cancel:
	cancel幂等校验
	cancel空回滚处理
	增加可用余额100元

李四:

代码语言:javascript复制
try:
	try幂等校验
	try悬挂处理
	余额增加100元
	
confirm:
	空

cancel:
	cancel幂等校验
	防止空回滚
	减去余额100元

数据库(MySQL)准备: 创建一个Hmily数据库:

代码语言:javascript复制
CREATE DATABASE `hmily` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

创建bank1库(张三),并且插入一条数据:

代码语言:javascript复制
CREATE DATABASE `bank1` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

CREATE TABLE `account_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL COMMENT '户主姓名',
  `card_number` int(11) DEFAULT NULL COMMENT '银行卡号',
  `password` varchar(255) DEFAULT NULL COMMENT '帐户密码',
  `balance` int(11) DEFAULT NULL COMMENT '帐户余额',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;

insert into account_info(name,card_number,password,balance) values('张三用户',1,'123456',10000)

创建bank2库(李四),并且插入一条数据:

代码语言:javascript复制
CREATE DATABASE `bank2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

CREATE TABLE `account_info` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL COMMENT '户主姓名',
  `card_number` int(11) DEFAULT NULL COMMENT '银行卡号',
  `password` varchar(255) DEFAULT NULL COMMENT '帐户密码',
  `balance` int(11) DEFAULT NULL COMMENT '帐户余额',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;


insert into account_info(name,card_number,password,balance) values('李四用户',1,'123456',0)

还需要再bank1和bank2都创建Hmily日志表:

代码语言:javascript复制
 CREATE TABLE `local_try_log` (
`tx_no` varchar(64) NOT NULL COMMENT '事务id',
`create_time` datetime DEFAULT NULL,
PRIMARY KEY (`tx_no`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `local_confirm_log`(
 `tx_no` varchar(64) NOT NULL COMMENT '事务id',
 `create_time` datetime DEFAULT NULL
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `local_cancel_log`(
`tx_no` varchar(64) NOT NULL COMMENT '事务id',
`create_time` datetime DEFAULT NULL,
PRIMARY KEY (`tx_no`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;

这时候准备工作做好了,开始再项目(spring-clund)中集成Hmily pom.xml文件:

代码语言:javascript复制
<dependency>
   <groupId>org.dromara</groupId>
    <artifactId>hmily-spring-boot-starter-springcloud</artifactId>
    <version>2.0.6-RELEASE</version>
</dependency>

配置文件修改:

代码语言:javascript复制
org:
  dromara:
    hmily:
      serializer: kryo
      recoverDelayTime: 30
      retryMax: 30
      scheduledDelay: 30
      scheduledThreadMax:  10
      repositorySupport: db
      started: true    #注意这个设置
      hmilyDbConfig:
        driverClassName: com.mysql.jdbc.Driver
        url:  jdbc:mysql://192.168.0.73:3306/hmily?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai
        username: root
        password: 111111

Hmily所使用的三个方法

代码语言:javascript复制
   /** * try幂等校验 * try悬挂处理 * 检查余额是够扣减金额 * 扣减金额 * @param amount */
    //只要标记@Hmily就是try方法,在注解中指定confirm、cancel两个方法的名字
    @Transactional
    @Hmily(confirmMethod="commit",cancelMethod="rollback")
    public void updateAccountBalance(String accountNo, Double amount) { 
   
    
    }

 	//confirm方法
    @Transactional
    public void commit(String accountNo, Double amount){ 
   
    
    }
	
	   /** cancel方法 * cancel幂等校验 * cancel空回滚处理 * 增加可用余额 * @param accountNo * @param amount */
    @Transactional
    public void rollback(String accountNo, Double amount){ 
   
	
	}

bank1 类AccountInfoBiz

代码语言:javascript复制
package com.study.biz;
import com.study.dao.AccountInfoDao;
import com.study.entity.AccountInfoEntity;
import com.study.service.AccountInfoService;
import lombok.extern.slf4j.Slf4j;
import org.dromara.hmily.annotation.Hmily;
import org.dromara.hmily.core.concurrent.threadlocal.HmilyTransactionContextLocal;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;
import org.springframework.web.client.RestTemplate;

/** * @Author: zj * @Date: 2020/12/9 0009 下午 15:43 * @Version: 1.0 */
@Service
@Transactional
@Slf4j
public class AccountInfoBiz { 
   

    @Autowired
    private AccountInfoDao accountInfoDao;

    @Autowired
    private AccountInfoService accountInfoService;

    // 账户扣款,就是tcc的try方法
    /** * try幂等校验 * try悬挂处理 * 检查余额是够扣减金额 * 扣减金额 * @param amount */
    //只要标记@Hmily就是try方法,在注解中指定confirm、cancel两个方法的名字
    @Transactional
    @Hmily(confirmMethod="commit",cancelMethod="rollback")
    public void updateAccountBalance(String accountNo, Double amount) { 
   
        //获取全局事务id
        String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
        log.info("bank1 try begin 开始执行...xid:{}",transId);
        System.out.println("=======transId=====" transId);
        //幂等判断 判断local_try_log表中是否有try日志记录,如果有则不再执行
        if(accountInfoDao.isExistTry(transId)>0){ 
   
            log.info("bank1 try 已经执行,无需重复执行,xid:{}",transId);
            return ;
        }

        //try悬挂处理,如果cancel、confirm有一个已经执行了,try不再执行
        if(accountInfoDao.isExistConfirm(transId)>0 || accountInfoDao.isExistCancel(transId)>0){ 
   
            log.info("bank1 try悬挂处理 cancel或confirm已经执行,不允许执行try,xid:{}",transId);
            return ;
        }

        //扣减金额
        if(accountInfoDao.subtractAccountBalance(accountNo, amount)<=0){ 
   
            //扣减失败
            throw new RuntimeException("bank1 try 扣减金额失败,xid:{}" transId);
        }

        //插入try执行记录,用于幂等判断
        accountInfoDao.addTry(transId);

        //远程调用李四,转账
        if(!accountInfoService.transfer(accountNo,amount)){ 
   
            throw new RuntimeException("bank1 远程调用李四微服务失败,xid:{}" transId);
        }
        if(amount == 2){ 
   
            throw new RuntimeException("人为制造异常,xid:{}" transId);
        }
        log.info("bank1 try end 结束执行...xid:{}",transId);

    }

    //confirm方法
    @Transactional
    public void commit(String accountNo, Double amount){ 
   
        //获取全局事务id
        String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
        log.info("bank1 confirm begin 开始执行...xid:{},accountNo:{},amount:{}",transId,accountNo,amount);
    }

    /** cancel方法 * cancel幂等校验 * cancel空回滚处理 * 增加可用余额 * @param accountNo * @param amount */
    @Transactional
    public void rollback(String accountNo, Double amount){ 
   
        //获取全局事务id
        String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
        log.info("bank1 cancel begin 开始执行...xid:{}",transId);
        // cancel幂等校验
        if(accountInfoDao.isExistCancel(transId)>0){ 
   
            log.info("bank1 cancel 已经执行,无需重复执行,xid:{}",transId);
            return ;
        }
        //cancel空回滚处理,如果try没有执行,cancel不允许执行
        if(accountInfoDao.isExistTry(transId)<=0){ 
   
            log.info("bank1 空回滚处理,try没有执行,不允许cancel执行,xid:{}",transId);
            return ;
        }
        // 增加可用余额
        accountInfoDao.addAccountBalance(accountNo,amount);
        //插入一条cancel的执行记录
        accountInfoDao.addCancel(transId);
        log.info("bank1 cancel end 结束执行...xid:{}",transId);

    }
}

再使用Hmily注解的时候,我们需要去了解一下,

代码语言:javascript复制
@Hmily(confirmMethod="commit",cancelMethod="rollback")

@Hmily 注解, 现在需要进行变更,在rpc接口方法上是添加 @Hmily,用来标识这是一个hmily分布式事务的接口方法, 在接口的方法实现上则需要添加 @HmilyTCC,然后指定 confirm 与 cancel方法名称.

bank2 服务service对应 的方法:

代码语言:javascript复制
package com.bank.biz;


import com.bank.dao.AccountInfoDao;
import com.bank.entity.AccountInfoEntity;
import lombok.extern.slf4j.Slf4j;
import org.dromara.hmily.annotation.Hmily;
import org.dromara.hmily.core.concurrent.threadlocal.HmilyTransactionContextLocal;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.transaction.annotation.Transactional;

/** * @Author: zj * @Date: 2020/12/9 0009 下午 15:43 * @Version: 1.0 */
@Service
@Transactional
@Slf4j
public class AccountInfoBiz { 
   

    @Autowired
    private AccountInfoDao accountInfoDao;

    /** * 保存记录 * @param accountInfoEntity Order * @return */
    public AccountInfoEntity create(AccountInfoEntity accountInfoEntity) { 
   
        int count = accountInfoDao.insertSelective(accountInfoEntity);
        return count > 0 ? accountInfoEntity : null;
    }

    @Hmily(confirmMethod="confirmMethod", cancelMethod="cancelMethod")
    public void updateAccountBalance(String s, Double amount) { 
   
        //获取全局事务id
        String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
        log.info("bank2 try begin 开始执行...xid:{}",transId);
    }


    /** * confirm方法 * confirm幂等校验 * 正式增加金额 * @param accountNo * @param amount */
    @Transactional
    public void confirmMethod(String accountNo, Double amount){ 
   
        //获取全局事务id
        String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
        log.info("bank2 confirm begin 开始执行...xid:{}",transId);
        if(accountInfoDao.isExistConfirm(transId)>0){ 
   
            log.info("bank2 confirm 已经执行,无需重复执行...xid:{}",transId);
            return ;
        }
        //增加金额
        accountInfoDao.addAccountBalance(accountNo,amount);
        //增加一条confirm日志,用于幂等
        accountInfoDao.addConfirm(transId);
        log.info("bank2 confirm end 结束执行...xid:{}",transId);
    }

    /** * @param accountNo * @param amount */
    public void cancelMethod(String accountNo, Double amount){ 
   
        //获取全局事务id
        String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
        log.info("bank2 cancel begin 开始执行...xid:{}",transId);

    }
}

寻坑地方:

这里我们需要调用bank2的client方法,所有我们需要再bank1服务中设定一bank2的client

代码语言:javascript复制
package com.study.service;

import com.study.hystrix.AccountInfoHystrix;
import org.dromara.hmily.annotation.Hmily;
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;

@FeignClient(name = "study-bank2", fallbackFactory = AccountInfoHystrix.class)
public interface AccountInfoService { 
   

    @GetMapping("/bank2/transfer")
    @Hmily
    public  Boolean transfer(@RequestParam("accountNo") String accountNo, @RequestParam("amount") Double amount);
}

上诉代码需要再bank1中client设定; 这里还有一个坑:

服务发现的名字需要跟bank2的服务器的名字要一样,不然无法获取接口信息;

测试结果

调用接口:http://localhost:9503/bank1/transfer?cardNumber=1&money=10

这里可以看到这里被调用了四次,产生了4笔交易,hmil log会记录操作事务的日志, 掉单的数据如何处理: 这时候我们需要去查看:

我们之前建立的Hmily日志库,这里存放这,我们掉单的记录,这些记录都需要人工去处理;

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/143536.html原文链接:https://javaforall.cn

0 人点赞