最新 最热

有赞订单管理的三生三世与“十面埋伏”

有赞订单管理主要承接有赞所有订单搜索及详情展示功能,系统随着业务的不断发展经历了多次飞升之路。下面简单介绍下有赞订单管理系统的三生三世与“十面埋伏”。...

2020-08-25
1

HBase Bulkload 实践探讨

HBase 是一个面向列,schemaless,高吞吐,高可靠可水平扩展的 NoSQL 数据库,用户可以通过 HBase client 提供的 put get 等 api 实现在数据的实时读写。在过去的几年里,HBase 有了长足的发展,它在越来越多的公司里扮演者越来...

2020-08-24
1

【从0开始の全记录】Flume+Kafka+Spark+Spring Boot 统计网页访问量项目

新建Scala文件——WebStatStreamingApp.scala,首先使用Direct模式连通Kafka:

2020-08-20
1

Kylin、Druid、ClickHouse 核心技术对比

导读:Kylin、Druid、ClickHouse是目前主流的OLAP引擎,本文尝试从数据模型和索引结构两个角度,分析这几个引擎的核心技术,并做简单对比。在阅读本文之前希望能对Kylin、Druid、ClickHouse有所理解。...

2020-08-18
1

HBase豆知识

与Phoenix带来的SQL on HBase易用性相比,它带来的负面影响也是巨大的, 大表Join大表,或者全表OrderBy等消耗的资源随数据量呈至少线性增长, 并发直线下降,甚至低到只有百级别,扩容带来的收益下降很快。 另外,Phoenix表查询通...

2020-08-17
1

HBase权限控制

修改 hbase-site.xml 文件<property> <name>hbase.superuser</name> <value>hbase</value></property><property> <name>hbase.coprocessor.region.classes</name> ......

2020-08-12
1

HBase监控

HBase自带的Web UI上Region单位的 Read Request Count/Write Request Count,不过这只是个累计值。

2020-08-11
1

Flink写出数据到HBase的Sink实现

文章目录一、MyHbaseSink1、继承RichSinkFunction<输入的数据类型>类2、实现open方法,创建连接对象3、实现invoke方法,批次写入数据到Hbase4、实现close方法,关闭连接二、HBaseUtil工具类一、MyHbaseSink1、继承RichSink...

2020-08-11
1

Hive数据导入HBase引起数据膨胀引发的思考

最近朋友公司在做一些数据的迁移,主要是将一些Hive处理之后的热数据导入到HBase中,但是遇到了一个很奇怪的问题:同样的数据到了HBase中,所占空间竟增长了好几倍!详谈中,笔者建议朋友至少从几点原因入手分析:...

2020-08-10
1