最新 最热

干货 | 盘点Zookeeper在分布式架构中的应用

近日了解到 Kafka 正在酝酿重大更新,可能会提供自管理的元数据仲裁机制以消除对 Zookeeper 的依赖,社区呼吁也相当强烈。那么一般而言 Zookeeper 在分布式系统中扮演什么角色?目前 Zookeeper 都应用在哪些分布式架构中?本...

2019-08-16
1

玩转HBase百亿级数据扫描

出于中通业务场景的特殊性,我们需要大量的回刷7-15天的数据,如果全部用离线抽取的方式,会给业务系统带来巨大压力,所以利用Hbaserowkey更新的特性,来存储业务数据的历史更新,每天ETL的任务需要大量从Hbase拉取数据,ETL任务需...

2019-08-16
0

关于NoSQL,看这篇就够了

NoSQL(Not only SQL)数据库,可以理解为区别于关系型数据库如mysql、oracle等的非关系型数据库。

2019-08-16
0

HBase写入过快性能分析及调优

整个写入流程从客户端调用API开始,数据会通过protobuf编码成一个请求,通过scoket实现的IPC模块被送达server的RPC队列中。最后由负责处理RPC的handler取出请求完成写入操作。写入会先写WAL文件,然后再写一份到内存中,也就...

2019-08-16
0

HBase漫谈 | HBase分区过多影响&合理分区数量

前段时间总结了一篇关于HBase由于分区过多导致集群宕机的文章,感兴趣的同学可以点击原文《HBase案例 | 20000个分区导致HBase集群宕机事故处理》阅读参考。本文重点参考HBase官网,从分区过多这个角度出发,进一步聊一聊HB...

2019-08-16
0

Elasticsearch在十亿级别数据下,如何提高查询效率?

本文原文(点击下面阅读原文即可进入) https://blog.csdn.net/qq_20499001/article/details/89261583

2019-08-16
0

HBase案例 | 20000个分区导致HBase集群宕机事故处理

这是几个月前遇到的一次HBase集群宕机事件,今天重新整理下事故分析报告。概况的说是业务方的一个10节点HBase集群支撑百TB级别的数据量,集群region数量达 23000+,最终集群支持不住业务压力,带来了一次惨痛的宕机事件。...

2019-08-16
0

浅谈HBase region的单点问题

https://www.cnblogs.com/yhxx511/p/9609765.html

2019-08-16
0

聊一聊分布式对象存储解决方案

OSS(Object Storage Service)俗称对象存储,主要提供图片、文档、音频、视频等二进制文件的海量存储功能。目前除了公有云提供对象存储服务外,一般私有云比较关心一些开源的分布式对象存储解决方案,本文列举了一些常见的技...

2019-08-16
0

深入探讨为什么HBase Scan性能低下

原文:https://blog.51cto.com/12445535/2359652

2019-08-16
0