最新 最热

HBase的集群环境搭建

在开始之前,有一个注意事项:HBase强依赖zookeeper和hadoop,安装HBase之前一定要保证zookeeper和hadoop启动成功,且服务正常运行。

2021-01-26
1

【大数据哔哔集20210112】Sorry,Hbase的LSM Tree真的可以为所欲为!

LSM树是HBase里使用的非常有创意的一种数据结构。在有代表性的关系型数据库如MySQL、SQL Server、Oracle中,数据存储与索引的基本结构就是我们耳熟能详的B树和B+树。而在一些主流的NoSQL数据库如HBase、Cassandra、Lev...

2021-01-21
1

OpenTSDB简介

OpenTSDB(Open time series data base),开发时间序列数据库。DB这个词很有误导性,其实并不是一个db,单独一个OpenTSDB无法存储任何数据,它只是一层数据读写的服务,更准确的说它只是建立在Hbase上的一层数据读写服务。行业...

2021-01-21
1

大数据下的实时热点功能实现讨论(实时流的TopN)

我司内部有个基于jstorm的实时流编程框架,文档里有提到实时Topn,但是还没有实现。。。。这是一个挺常见挺重要的功能,但仔细想想实现起来确实有难度。实时流的TopN其实离大家很近,比如下图百度和微博的实时热搜榜,还有各种...

2021-01-21
1

HBase填坑记2:Region无故损坏

HBase的Region损坏后果很严重,会导致整个HBase异常,数据不能用。修复Region需要花费时间,当出现大面积的Region损坏的时候,后果几乎是致命的。

2021-01-20
1

大厂是如何搭建大数据平台架构?

今天我们来看一下淘宝、美团和滴滴的大数据平台,一方面进一步学习大厂大数据平台的架构,另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图,你就会发现,不但这些知名大厂的大数据平台设计方案大同小异,架构图...

2021-01-19
1

2021-01-13:很多列的数据,任意一列组合查询,mysql....

2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数据量做不到了,查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗?...

2021-01-14
1

HBase 底层原理详解(深度好文,建议收藏)

HBase 是一个分布式的、面向列的开源数据库。建立在 HDFS 之上。Hbase的名字的来源是 Hadoop database,即 Hadoop 数据库。HBase 的计算和存储能力取决于 Hadoop 集群。...

2021-01-14
1

springboot整合postgre和hbase实现互相交互功能

此项目是一个小测试,将postgre中的某些字段读取到hbase中变成某个表的列族,其中postgre和hbase已经在云服务器上建立好,用的docker技术,开放相应端口,并且win上用管道安全连接。 此项目用到了JPA技术,实现entity和postgre数...

2021-01-13
1

使用datax将mysql数据同步到ES 附elasticsearchwriter插件

1、使用datax工具将mysql数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图:...

2021-01-13
1