最新 最热

Hbase(1)——基础语句(1)

Hbase将大量数据列式存储,并且适合存储非关系型数据库,存储的数据类型都是二进制类型,这和传统的关系型数据库就有很大的区别,Hbase是基于zookeeper去进行管理的,与hive不同,hive是基于mapreduce,但他们最终都存储在hdfs上,Hb...

2020-11-11
0

【三歪教你些能装逼的】麒麟入门教程

由于工作需要,前段时间对kylin简单入了个门,现在来写写笔记(我的文字或许能帮助到你入门kylin,至少看完这篇应该能知道kylin是干什么的)。

2020-11-11
1

HBase使用HashTable/SyncTable工具同步集群数据

复制(在上一篇博客文章中介绍)已经发布了一段时间,并且是Apache HBase最常用的功能之一。使集群与不同的对等方复制数据是非常常见的部署,无论是作为DR策略还是简单地作为在生产/临时/开发环境之间复制数据的无缝方式。尽...

2020-11-09
1

从硅谷到小米,崔宝秋的25年开源人生

InfoQ 特别面向新一代信息技术领域技术中坚群体正式推出的「中国技术力量」之「开源创新 30 人」栏目持续进行中,本期嘉宾是小米集团副总裁、集团技术委员会主席崔宝秋。...

2020-11-06
1

第一天:Hbase 概述

HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的顶级项目来开发维护,用于支持结构化的数据存储。

2020-11-05
1

掌握了LSM架构,你就掌握了90%的分布式数据库

很多的数据库现在都在使用LSM tree作为其核心结构,因为它可以提供非常高的写入吞吐量。一些分布式数据库比如Bigtable、HBase、LevelDB、SQLite4、Tarantool、RocksDB、WiredTiger(MongoDB新一代的引擎)、Apache Cassand...

2020-11-03
1

Java连接HBase的正确方法及Connection创建步骤与详解

HBASE的连接不像其他传统关系型数据库连接需要维护连接池。HBASE连接若使用错误则会导致随时间推移程序创建的TCP连接过多,导致HBASE连接失败。

2020-10-29
1

Hbase 基础 Rowkey CF 架构 概述 预分区及Rowkey设计 学习笔记

HBase类似于数据库的存储层,HBase适用于结构化存储,并且为列式分布式数据库。

2020-10-29
1

Hadoop HBASE集群运维相关笔记 及hdfs参数设置调优等

本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题,包括HBASE HDFS的常见问题及相关的解决方案

2020-10-29
0

在python中使用pyspark读写Hive数据操作

pyspark读取hive数据非常简单,因为它有专门的接口来读取,完全不需要像hbase那样,需要做很多配置,pyspark提供的操作hive的接口,使得程序可以直接使用SQL语句从hive里面查询需要的数据,代码如下:...

2020-10-29
0