最新 最热

HBase漫谈 | HBase技术选型准则

NoSQL(Not only SQL)数据库,可以理解为区别于关系型数据库如mysql、oracle等的非关系型数据库。聊到NoSQL不得不提著名的CAP理论,全称 Consistency Available and Partition tolerance,即一致性、可用性与分区容错性,这是Er...

2019-08-16
1

深入理解 HBase Compaction 机制

熟悉HBase的同学应该知道,HBase是基于一种LSM-Tree(Log-Structured Merge Tree)存储模型设计的,写入路径上是先写入WAL(Write-Ahead-Log)即预写日志,再写入memstore缓存,满足一定条件后执行flush操作将缓存数据刷写到磁盘,生成...

2019-08-16
1

几张大数据思维导图

主要是Sqoop,Pig以及HBase

2019-08-15
1

hive与hbase的联系与区别

hive与hbase的联系与区别:共同点:hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别:Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的...

2019-08-08
1

Flink 状态管理和容错机制介绍

计算任务的结果不仅仅依赖于输入,还依赖于它的当前状态,其实大多数的计算都是有状态的计算。比如wordcount,给一些word,其计算它的count,这是一个很常见的业务场景。count做为输出,在计算的过程中要不断的把输入累加到co...

2019-08-07
1

Hadoop实战

1.Hadoop是一个开源分布式计算平台,以HDFS(Hadoop Distributed Filesystem,Hadoop分布式文件系统)和MapReduce为核心,为用户提供了系统底层细节透明的分布式基础架构...

2019-08-06
1

Sqoop1.4.7实现将Mysql数据与Hadoop3.0数据互相抽取

将 mysql 数据库中的 hive 数据库中的 ROLES 表数据导入到 HDFS 中的 /tmp/root/111 目录下。执行代码如下:

2019-08-05
1

0676-5.16.2-Apache Phoenix for CDH

今天,Cloudera正式宣布在CDH中支持Apache Phoenix,同时也会集成到未来的Cloudera Data Platform中。

2019-07-30
1

0675-6.2.0-什么是HDFS分层存储

CDH支持Hadoop分布式文件系统HDFS中的各种存储类型。早期的CDH只支持一种存储类型。现在,您可以为DataNode数据目录指定不同的存储类型,这样可以根据数据使用频率优化数据使用并降低成本。例如需要频繁使用的数据,可以存...

2019-07-30
1

【趣学程序】Hadoop安装运行

GoogleFileSystem这是一个可扩展的分布式文件系统,用于大型的、分布式的、对大量数据进行访问的应用。它运行于廉价的普通硬件上,提供容错功能。

2019-07-27
1