@
目录
- 数量关系
- putList: source在向channel放入数据时的缓冲区!
- put事务流程
- takeList: sink在向channel拉取数据时的缓冲区!
- take事务流程
数量关系
-
batchSize
: 每个Source和Sink都可以配置一个batchSize的参数。这个参数代表一次性到channel中put|take 多少个event! -
batchSize <= transactionCapacity
-
transactionCapacity
: putList和takeList的初始值! -
capacity
: channel中存储event的容量大小! -
transactionCapacity <= capacity
putList: source在向channel放入数据时的缓冲区!
putList在初始化时,需要根据一个固定的size初始化,这个size在channel中设置!在channel中,这个size由参数transactionCapacity决定!
put事务流程
- source将封装好的event,先放入到putList中
- 放入完成后,一次性commit(),这批event就可以写入到channel
- 写入完成后,清空putList,开始下一批数据的写入!
- 假如一批event中的某些event在放入putList时,发生了异常,此时要执行rollback(),rollback()直接清空putList。
takeList: sink在向channel拉取数据时的缓冲区!
take事务流程
- sink不断从channel中拉取event,没拉取一个event,这个event会先放入takeList中!
- 当一个batchSize的event全部拉取到takeList中之后,此时由sink执行写出处理!
- 假如在写出过程中,发送了异常,此时执行回滚!将takeList中所有的event全部回滚到channel,反之,如果写出没有异常,执行commit(),清空takeList!