最新 最热

Postgresql源码(24)ReadBuffer_common核心流程简化

总结:先走BufferAlloc拿一个buffer 如果在内存中直接返回,如果不在内存中需要分配一个位置。如果有位置直接分配,如果没有位置需要clock sweep淘汰一个。拿到一个页面后,数据肯定是不对的,需要IO上来数据,如果页面本身有...

2022-07-14
1

Flink写Elasticsearch导致Checkpoint频繁失败的解决方案

最近做的一个需求,在一个Flink程序中,根据数据里面的ip进行分流,每个流对应一个ES的索引,一共有14个索引,开启checkpoint。

2022-06-17
2

Postgresql创建检查点

--->------logical lsn---------->------------physical lsn---------->-------- --->------|--------------do check point----------------|---------->--------

2022-05-12
1

Postgresql源码(20)ReadBuffer_common核心流程简化

总结:先走BufferAlloc拿一个buffer 如果在内存中直接返回,如果不在内存中需要分配一个位置。如果有位置直接分配,如果没有位置需要clock sweep淘汰一个。拿到一个页面后,数据肯定是不对的,需要IO上来数据,如果页面本身有...

2022-05-12
1

[源码解析] 模型并行分布式训练Megatron (5) --Pipedream Flush

NVIDIA Megatron 是一个基于 PyTorch 的分布式训练框架,用来训练超大Transformer语言模型,其通过综合应用了数据并行,Tensor并行和Pipeline并行来复现 GPT3,值得我们深入分析其背后机理。本系列有 5 篇文章,通过论文和源码...

2022-05-09
2

RequestProcessor相关

LeaderZooKeeperServer启动CommitProcessor线程。后者对committed请求包装成CommitWorkRequest交给线程池执行。

2022-03-24
1

Oracle案例:一次gc buffer busy acquire诊断

本案例来自某客户两节点rac的一次生产故障,现象是大面积的gc buffer busy acquire导致业务瘫痪。 首先查看1节点AWR头部信息和load profile: 1节点AWR 得到的关键信息点: 对于LCPU 256的系统,AAS=13379.42/59.91=223,说明...

2022-03-04
2

PAT考试 常用技巧(持续更新)

4.使cin,cout与printf,scanf效率一致。在默认的情况下cin绑定的是cout,每次执行 << 操作符的时候都要调用flush,这样会增加IO负担。可以通过tie(0)(0表示NULL)来解除cin与cout的绑定,进一步加快执行效率。...

2022-02-25
2

技术分享 | MySQL 在线开启 GTID 的每个阶段是要做什么

而基于 GTID 的方式在一主多从的架构下主从切换有着明显优势外,对于日常复制异常的故障诊断也更为方便,在日常运维或 MySQL 升级过程中我们免不了要做 GTID 的开启或关闭,从个人角度而言,我也更倾向于大家做在线开启或关...

2022-02-09
2

MySQL MHA部署与测试-下篇

此命令一般不会在生产环境使用,只用于测试 1、需要关闭mha-manager,不然切换无法执行成功。报错如下:

2021-08-31
2