最新 最热

[1133]flink问题集锦

原因:flink1.8版本之后已弃用该参数,ResourceManager将自动启动所需的尽可能多的容器,以满足作业请求的并行性。解决方法:去掉即可

2022-04-28
1

flink-2:部署flink1.13.1&hadoop3.3.1并初探

Flink自1.11.0 版本开始,已经支持了hadoop 3.x,具体来讲就是将 HADOOP_CLASSPATH 配置成运行机器上的hadoop3 相关jar包即可。

2022-04-28
1

大数据开发-Spark编程

https://www.psvmc.cn/article/2022-04-21-bigdata-spark-idea.html

2022-04-28
1

ELT优化,让SQL查询飞起来

清晰的反映了Hadoop中MR的执行过程,map端对文件切割输入,reduce端对数据归并输出,shuffle作为MR的心脏,对map端输入的数据进行缓存、分区、排序,保证reduce的数据是有序的。...

2022-04-27
1

一只猪让大数据飞起来

人与人的互联,物与物的互通,人与物的交互~言行动作都产生了很多数据,这些数据对于企业却是弥足珍贵的,在物质充裕的时代,数据信息才是石油。...

2022-04-27
1

Mac hadoop + hive整合s3-伪分布式环境

JDK: java1.8 路径为:/Library/Java/JavaVirtualMachines/jdk1.8.0_291.jdk/Contents/Home

2022-04-26
1

Hadoop Shell命令

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme...

2022-04-26
0

使用IDEA开发Spark程序

链接:https://pan.baidu.com/s/1YczOo5novINV_MimJ9Xpqg提取码:psvm

2022-04-26
1

组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs

近期正在探索前端、后端、系统端各类常用组件与工具,对其一些常见的组件进行再次整理一下,形成标准化组件专题,后续该专题将包含各类语言中的一些常用组件。...

2022-04-24
0

使用IDEA开发Spark程序

链接:https://pan.baidu.com/s/1YczOo5novINV_MimJ9Xpqg提取码:psvm

2022-04-23
1