最新 最热

Hive的调优你都知道那些?

我们在工作中还是在学习中有都会遇到我们写的HQL语句执行效率不高,那我们该怎么提高查询效率那,这篇文章就带你从不同维度讲解,让你的HQL瞬间提高一个档次。记得收藏...

2021-02-04
1

MapReduce推测机制及自定义推测机制

作者:wyattliu  腾讯TEG工程师 |导语 集群中的机器机型、负载并不一定完全相同,所以即使一个MapReduce任务每一个Map/Reduce task要处理的数据量完全相同,其运行时间也可能会相差很大。推测机制就是为了缓解这种问题而...

2021-02-04
0

SpringBoot开发azkaban Java类型任务

在上篇文章手把手教你安装 azkaban 运行环境中,详细介绍了 azkaban服务的安装,现在就用SpringBoot来开发一个azkaban的调度任务,上传到web界面运行。

2021-02-03
0

模板银行 | 点击获取模板监控MySQL、PostgreSQL、Hadoop、ES数据库

本MySQL模板采集数据使用mysqladmin/mysql命令连接数据库,并将获取的数据写入本地文件,然后通过Zabbix agent(active)方式获取各监控项的数据。在Zabbix自带的基础模板上进行升级,指标更完善,性能更好...

2021-02-03
1

Linux的环境变量配置在/etc/profile或/etc/profile.d/*.sh文件中的区别是什么?

Linux的环境变量可在多个文件中配置,如/etc/profile,/etc/profile.d/*.sh,~/.bashrc等,下面说明上述几个文件之间的关系和区别。

2021-01-29
0

/dev/null--Linux系统黑洞,解决控制台的刷屏问题

那么就可以编写一个脚本,把输出的内容全部扔进“黑洞”。此脚本模拟在hadoop102和hadoop103两台主机上循环执行jar文件:

2021-01-29
0

Hive On LLAP搭建&常见问题

Hive在2.0之后,推出一个新特性LLAP(Live Long And Process),可以显著提高查询效率。

2021-01-29
1

HDFS是如何设计架构的?

Hadoop到目前为止发展已经有10余年,版本经过无数次的更新迭代,目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。

2021-01-28
1

小白的大数据笔记——2(mapreduce实战)

抱着学Flink的心,没想到先试水最基本的mapreduce了。由于项目不便于公开,所以这里故事描述会进行一些演义,尽量不影响看官们理解。

2021-01-27
0

推荐10本大数据领域必读的经典好书(火速收藏)

写博客也已经快一年了,从去年的1024到现在金秋10月已纷至沓来。回顾这一年所发布的原创文章,基本都是与大数据主流或者周边的技术为主。本篇博客,就为大家介绍几篇关于大数据领域必看的经典书籍,喜欢的小伙伴记得来发一键...

2021-01-27
1