HBase简介
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。HBase设计目标是用来解决关系型数据库在处理海量数据时的局限性。
HBase使用场景有如下几个特点:
- 处理海量数据(TB或PB级别以上)。
- 具有高吞吐量
- 在海量数据中实现高效的随机读取。
- 具有很好的伸缩能力。
- 能够同时处理结构化和非结构化的数据。
- 不需要完全拥有传统关系型数据库所具备的ACID特性。ACID特性指原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation,又称独立性)、持久性(Durability)。
- HBase中的表具有如下特点:
- 大:一个表可以有上亿行,上百万列。
- 面向列:面向列(族)的存储和权限控制,列(族)独立检索。
- 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。
准备项 | 说明 |
---|---|
操作系统 | Windows系统,推荐Windows 7及以上版本。 |
安装JDK | 开发环境的基本配置。版本要求:1.8及以上。 |
安装和配置Eclipse | 用于开发HBase应用程序的工具。 |
安装Maven | 用于编译样例工程。 |
网络 | 确保客户端与HBase服务主机在网络上互通。 |
- 选择Windows开发环境下,安装Eclipse,安装JDK。
请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本,并安装JUnit插件。
代码语言:javascript复制说明:
若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。
若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。
准备一个应用程序运行测试的Linux环境。
准备运行调测环境
- 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。
- 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。
- 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
- 弹性云服务器的网卡需要与MRS集群在同一个网段中。
- 申请弹性IP,绑定新申请的ECS的IP,并配置安全组出入规则。
- 下载客户端程序
- 登录存放下载的客户端的节点,再安装客户端。
执行以下命令解压客户端包:cd /opt
tar -xvf /opt/MRS_Services_Client.tar
执行以下命令校验安装文件包:sha256sum -c /opt/MRS_Services_ClientConfig.tar.sha256MRS_Services_ClientConfig.tar:OK
执行以下命令解压安装文件包:tar -xvf /opt/MRS_Services_ClientConfig.tar
执行如下命令安装客户端到指定目录(绝对路径),例如“/opt/client”。目录会自动创建。cd /opt/MRS_Services_ClientConfig
sh install.sh /opt/client
Components client installation is complete.