最新 最热

Hbase参数调优

2. 管理和分配HRegion,比如在HRegion split 时分配新的HRegion;在HRegionServer 退出时迁移其内的

2018-05-08
1

你想了解的分布式--从ACID到CAP/BASE

本文先介绍传统关系数据库中事务的ACID特性,再介绍分布式系统中的经典理论——CAP定理和BASE理论。事务事务的定义:事务(Transaction)是由一系列对系统中数据进行访问与更新的操作所组成的一个程序执行逻辑单元(Unit),狭义上...

2018-05-04
1

geotrellis使用(二十)geotrellis1.0版本新功能及变化介绍

目录前言变化情况介绍总结一、前言       之前版本是0.9或者0.10.1、0.10.2,最近发现更新成为1.0.0-2077839。1.0应该也能称之为正式版了吧。发现其中有很多变化,在这里为大家简单介绍。二、变化情况介绍2.1 数据导...

2018-04-28
1

安装单机hbase

安装jdk下载hbasewget http://archive.apache.org/dist/hbase/hbase-1.0.0/hbase-1.0.0-bin.tar.gztar xf hbase-1.0.3-bin.tar.gz -C /opt/cd hbase-1.0.3配置vim conf/hba...

2018-04-25
1

【平台】HBase学习总结

HBase的下载与安装(HBase是一种数据库:Hadoop数据库,它是一种NoSQL存储系统,专门设计用来快速随机读写大规模数据。本文介绍HBase的下载与安装的整个过程。) 一、HBase的下载 1.登录HBase官网http://hbase.apache.org/,可...

2018-04-25
1

案例 | 看斗鱼TV如何玩转大数据

自我介绍我是吴瑞诚,现在负责斗鱼数据平台部,今天给大家分享一下斗鱼大数据这块的玩法。我先做个自我介绍,我是11年初华科通信硕士毕业就进入淘宝,主要做HBase相关开发,后来回武汉后在1号店转向应用架...

2018-04-24
1

HBase在腾讯大数据的应用实践

前言随着腾讯产品与技术的发展,几乎任何一个与用户相关的在线业务的数据量都在亿级别,每日系统调用次数从亿到百亿,对海量数据的高效插入和快速读取变得越来越重要。而传统关系型数据库模式固定、强调参照完整性、数据的...

2018-04-24
1

一文看懂HIVE和HBASE的区别

两者分别是什么Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不...

2018-04-24
1

大数据分析需要把hbase、mysql等数据导入hive吗?

看做什么,如果不需要对数据进行实时处理,那么大部分情况下都需要把数据从hbase/mysql(数据库)“导入”到hive(数据仓库)中进行分析。“导入”的过程中会做一些元数据转换等操作。相关知识如下数据仓库的几个概念http://www....

2018-04-23
1

【学习】百万级别数据,数据库Mysql,Mongodb,Hbase如何选择?

情况说明:现在需要做一个数据存储,500w左右的数据,日后每天大约产生5w条左右的数据。想把这些数据存储起来,供日后的数据分析用?使用上面说的三种数据库中的哪中比较好?是否有必要建立集群?个人看法是:从长远角度看,由于单台机...

2018-04-23
1