最新 最热

HBase篇--初始Hbase

1.HBase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。2.利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为其分布式协同服务。...

2018-09-13
0

HBase篇--搭建HBase完全分布式集群

完全分布式基于hadoop集群和Zookeeper集群。所以在搭建之前保证hadoop集群和Zookeeper集群可用。可参考本人博客地址

2018-09-13
0

Hbase伪分布式集群搭建

----环境准备一台Linux虚拟机 我用的CentOS-6.6的一个虚拟机,主机名为repo 参考在Windows中安装一台Linux虚拟机 hbase安装包 下载地址:https://mirrors.aliyun.com/apache/hbase/ 我用的hbase-1.2.6----1. 把h......

2018-09-13
0

HBase Java API 01:基础操作

----HBase版本:1.2.61. HBaseUtil.javaimport java.io.IOException;import java.util.Date;import java.util.List;import org.apache.hadoop.conf.Configuration;imp...

2018-09-13
0

Hbase完全分布式集群搭建

----环境准备服务器集群 我用的CentOS-6.6版本的4个虚拟机,主机名为hadoop01、hadoop02、hadoop03、hadoop04,另外我会使用hadoop用户搭建集群(生产环境中root用户不是可以任意使用的) 关于虚拟机的安装可以参考以下两...

2018-09-13
0

HBase和Hive整合

1-3步骤不是必须的,如果没有进行1-3步骤的设置,那么想要让hive和hbase整合,每次进入hive命令行后,需要进行如下配置:

2018-09-13
0

利用Sqoop实现Hbase的数据与MySQL数据的互导

在服务器(主机名为repo)的mysql数据库中的"test"库中有一张"student"表,其中内容如下:

2018-09-13
0

启动 HBase 报错:FATAL [hadoop001:16000.activeMasterManager] master.HMaster: Failed to become active m...

我在 hadoop001、hadoop002 和 hadoop003 节点上安装了 HBase 集群,其中 hadoop001 和 hadoop002 为 HMaster,hadoop002 和 hadoop003 为 HRegionServer,启动 HBase 后,发现 hadoop002 的 HMaster 和 ......

2018-09-13
0

Spark读写HBase之使用Spark自带的API以及使用Bulk Load将大量数据导入HBase

以上两个算子分别是基于Hadoop新版API和hadoop旧版API实现的,大部分代码都一样,需要注意的是新版API使用中Job类,旧版API使用JobConf类,另外导包的时候新版的相关jar包在org.apache.hadoop.mapreduce下,而旧版的相关jar包...

2018-09-13
1

Sqoop安装

下载页面下有两个链接,使用sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz,包含hadoop支持。不要用sqoop-1.4.7.tar.gz。

2018-09-12
0