最新 最热

16-Flink-Redis-Sink

流式计算中,我们经常有一些场景是消费Kafka数据,进行处理,然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。

2019-03-15
0

大数据技术之_12_Sqoop学习_Sqoop 简介+Sqoop 原理+Sqoop 安装+Sqoop 的简单使用案例+Sqoop 一些常用命令及参数

Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可以将一个关系型数据库(例如:MySQL,Oracle,Postgres等)中的数据导入到 Hadoop 的 HDFS 中,也可以将 HDFS ...

2019-03-15
0

HBase 默认刷写文件 flush_compact.xml 注释解析

flush_compact.xml <!-- 一个store里面允许存的hfile的个数,超过这个个数会被写到新的一个hfile里面 也即是每个region的每个列族对应的memstore在fulsh为hfile的时候,默认情况下当超过3个hfile的时候就会 ...

2019-03-15
0

大数据技术之_11_HBase学习_02_HBase API 操作 + HBase 与 Hive 集成 + HBase 优化

注意:truncate,清空表数据,实际底层操作是先使表不可用(下线),然后删除表,最后根据表信息重新创建一张新表。

2019-03-15
0

HUE简介及编译

Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理...

2019-03-12
0

Hbase shell

Hbase shellns_ods:data_im_session_detailshive sqlselect * from ods.hbase_mapping_im_session_details a where source_id > 0 limit 100;hbase shellscan 'ns_ods...

2019-03-12
1

HBase 根据表名与列信息与配置信息创建表

private static Configuration configuration=null; static{ configuration= HBaseConfigurati

2019-03-12
0

hbase mapping hive error

在创建hive/hbase相关联的表时,hbase表结构默认会有一个字段key,如果没有一个显示的字段&#x27;key&#x27;那么在创建表的进修,会自己创建,这样hive对应的表就会出现问题,所以在hive对应的表里一定要加上key这个字段,为了避免...

2019-03-12
0

使用phoenix查询hbase

今天需要从的 hbase 使用 sql 来查询数据,于是想到了使用 phoenix 工具,在自己的环境里大概试了一下,一下子就通了,就这么神奇。

2019-03-11
0

python使用phoenixdb操作hbase

然后使用下面代码来建立连接、创建/删除并查询表。代码比较简单,和我们通常查询关系型数据库比较类似,这里就不多说了哈。

2019-03-11
0