最新 最热

PostgreSQL-wal日志

wal全称是write ahead log,是postgresql中的online redo log,是为了保证数据库中数据的一致性和事务的完整性。而在PostgreSQL 7中引入的技术。它的中心思想是“先写日志后写数据”,即要保证对数据库文件的修改应放生在...

2021-03-18
3

PostgreSQL多主复制方案

随着数据量的快速增长,可伸缩性已经成为数据库领域最热门的话题之一,可伸缩性分为垂直扩展和水平扩展。垂直扩展意味着给已经存在的节点增加更多的硬件资源,以提升单个节点存储和处理更多数据的能力,比如增加更多的CPU,磁...

2021-03-17
2

PostgreSQL 清理死亡元祖 dead tuples 详解

在Postgresql做delete操作时,数据集(也叫做元组 (tuples))是没有立即从数据文件中移除的,仅仅是通过在行头部设置xmax做一个删除标记。update操作也是一样的,在postgresql中可以看作是先delete再insert;...

2021-03-17
2

pg wal最佳实践

PostgreSQL在写入频繁的场景中,可能会产生大量的WAL日志,而且WAL日志量远远超过实际更新的数据量。我们可以把这种现象起个名字,叫做“WAL写放大”,造成WAL写放大的主要原因有2点。...

2021-03-16
2

pg之CheckPoint机制

checkpoint又名检查点,一般checkpoint会将某个时间点之前的脏数据全部刷新到磁盘,以实现数据的一致性与完整性。目前各个流行的关系型数据库都具备checkpoint功能,其主要目的是为了缩短崩溃恢复时间,以Oracle为例,在进行数...

2021-03-16
2

oid2name列出PostgreSQL和对应的oid

PostgreSQL 提供 oid2name 客户端程序,用来解析数据目录里的文件,平常用得比较少,这里简单介绍下。

2021-03-15
2

pg中超时参数详解

lock_timeout锁等待超时。语句在试图获取表、索引、行或其他数据库对象上的锁时等到超过指定的毫秒数,该语句将被中止。不推荐在postgresql.conf中设置,因为会影响所有的会话。...

2021-03-15
2

pg之archive参数详解

当启用archive_mode时,通过设置archive_command将已完成的WAL段发送到归档存储。除了off,disable,还有两种模式:on,always。在正常操作期间,两种模式之间没有区别,但是当设置为always的情况下,WAL archiver在存档恢复或待机...

2021-03-14
2

Impala-查询调优:join 优化

本篇章继续Impala查询机制相关的探索和学习,本篇主要讲解join优化器的优化原理和思路。

2021-01-19
2

从Snowflake看数据仓库演进方向:计算存储分离、弹性计算、统一存储和Serverless化

2020 年 9 月,主打云数据仓库产品的硅谷独角兽 Snowflake 正式登陆纳斯达克,首日 IPO 筹资高达 33.6 亿美元,是有记录以来金额最大的软件 IPO,突破了 Uber 2019 年 5 月上市创下的最大规模纪录。 如今,大数据技术早已进入...

2021-01-08
3