最新 最热

NoSQL(MongoDB,Hbase,Redis)介绍

NoSQL,泛指非关系型的数据库,随着互联网的发展传统的关系型数据库面对持续增长的数据处理起来显得越来越力不从心,此时非关系型数据库应运而生。...

2019-05-15
0

一句话说清分布式锁,进程锁,线程锁

线程锁:大家都不陌生,主要用来给方法、代码块加锁。当某个方法或者代码块使用锁时,那么在同一时刻至多仅有有一个线程在执行该段代码。当有多个线程访问同一对象的加锁方法/代码块时,同一时间只有一个线程在执行,其余线程...

2019-05-14
0

【生活现场】从洗袜子到HBase存储原理解析

小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。

2019-05-14
0

如何使用C++通过thrift访问HBase进行操作

上周六,接了一个紧急任务,说实现使用 C++ 访问 HBase 进行操作。说是用 thrift 来实现。对于 C++ 来说,我真的是门外汉,但需求如此,皱着眉头也要把它实现。好歹在同事的帮助下,也是实现了 demo 示例,现在就把这两天的成果分...

2019-05-14
0

pinpoint 修改hbase表TTL值

缘起Pinpoint接入业务监控后数据量大涨,平均每天Hbase数据增量20G左右,数据量太大,需要对数据进行定期清理,否则监控可用性降低,由于之前环境是由docker-compose部署,查到hbase可以修改表的ttl来清理数据,目前进入pinpoint-h...

2019-05-13
0

大牛教你如何搭建一个大数据分析平台?(附赠百集视频学习资料)

一般的大数据平台从平台搭建到数据分析大概包括以下几个步骤:1、Linux系统安装

2019-05-13
0

HBase二次开发之搭建HBase调试环境,如何远程debug HBase源代码

之前的文章也提到过,最近工作中需要对HBase进行二次开发(参照HBase的AES加密方法,为HBase增加SMS4数据加密类型)。研究了两天,终于将开发流程想清楚并搭建好了debug环境,所以就迫不及待地想写篇文章分享给大家。...

2019-05-09
0

大数据技术之_18_大数据离线平台_05_离线平台项目模块小结

1、将项目软件工具包导入2、项目思路: 2.1、读取 HDFS 数据进行 ETL 清洗操作,并将最终结果写入到 HBase 中。2.2、从 HBase 中读取数据,进行新增用户统计分析操作,并将结果写入到 Mysql。3、细节实现 数据清洗:3.1、Logge...

2019-05-07
0

HBase配置AES加密

为了避免第三方非法访问我们的重要数据,我们可以给HBase配置加密算法,目前HBase只支持使用aes加密算法,用于保护静态的HFile和WAL数据。

2019-05-06
0

HBase 读流程解析与优化的最佳实践

本文首先对 HBase 做简单的介绍,包括其整体架构、依赖组件、核心服务类的相关解析。再重点介绍 HBase 读取数据的流程分析,并根据此流程介绍如何在客户端以及服务端优化性能,同时结合有赞线上 HBase 集群的实际应用情况,...

2019-04-29
0