最新 最热

React Hooks踩坑分享

如果要在项目中使用React Hooks,强烈推荐先安装eslint-plugin-react-hooks(由React官方发布)。在很多时候,这个eslint插件在我们使用React Hooks的过程中,会帮我们避免很多问题。...

2020-08-22
0

分布式集群调度框架Mesos架构与实现

Mesos是一个在多个集群计算框架中共享集群资源的管理系统,它提高了集群资源利用率,避免了每个计算框架数据复制。

2020-08-21
0

快速,实时处理大量数据,架构如何解?

互联网的业务无外乎线上OLTP场景和线下OLAP场景,这两种场景,数据量增大后,我们应该分别怎么应对呢。

2020-08-21
0

HQL数据倾斜解决方法总结

近来,求职数据分析师常被问到:数据倾斜如何调优?对于经常使用HQL处理大数据的同学,这个问题并不陌生:任务进度长时间维持在99%,而查看监控页面,会发现只有某几个reduce子任务尚未完成,十分诡异。...

2020-08-20
0

MapReduce之ReduceJoin案例

通过将关联条件作为Map输出的key,将两表满足Join条件的数据并携带数据所来源的文件信息,发往同一个ReduceTask,在Reduce中进行数据的串联。

2020-08-19
0

MapReduce之多个Job串联的案例

期待输出 比如:atguiguc.txt-->2b.txt-->2a.txt-->3

2020-08-18
0

MapReduce之MapJoin案例

思考:在Reduce 端处理过多的表,非常容易产生数据倾斜。怎么办? 在Map端缓存多张表,提前处理业务逻辑,这样增加Map 端业务,减少Reduce 端数据的压力,尽可能的减少数据倾斜。...

2020-08-18
0

Python基础之函数加强

所有功能函数都是操作学员信息,所有存储所有学员信息应该是一个全局变量,数据类型为列表。

2020-08-17
0

图数据库之TinkerPop Provider

Apache TinkerPop 提供了图数据库的抽象接口,方便第三方实现自己的图数据库以接入TinkerPop 技术栈,享受TinkerPop 的Gremlin、算法等福利。TinkerPop将这些第三方称为“Provider ”,知名的Provider包含janusGraph、neo4...

2020-08-17
0

保姆级教程:还愁不会搭建伪分布式吗?(其实很简单)

在上面三篇文章我们已经把基本环境搭建好了,也进行了相应的案例演示,下面我们将进入伪分布式的环境搭建,并运行实例,建议先看上面三篇文章在进行操作。看一百遍,不如手过一遍。快点拿起你的键盘和我一起操作起来吧。...

2020-08-13
1