最新 最热

Hadoop 生态系统的构成(Hadoop 生态系统组件释义)

现在先让我们了解一下 Hadoop 生态系统的构成,主要认识 Hadoop 生态系统都包括那些子项目,每个项目都有什么特点,每个项目都能解决哪一类问题,能回答这三个问题就可以了(本段属于热身…重在理解 Hadoop 生态系统组成,现状,发...

2022-08-26
1

一文看懂大数据生态圈完整知识体系

随着大数据行业的发展,大数据生态圈中相关的技术也在一直迭代进步,作者有幸亲身经历了国内大数据行业从零到一的发展历程,通过本文希望能够帮助大家快速构建大数据生态圈完整知识体系。目前大数据生态圈中的核心技术总结...

2022-08-25
1

大数据Hadoop生态圈介绍

Hadoop是目前应用最为广泛的分布式大数据处理框架,其具备可靠、高效、可伸缩等特点。

2022-08-25
1

创建xsync 脚本

输入命令:vi /usr/local/spark/spark-standalone/bin/xsync

2022-08-22
1

大数据开发工作辛苦吗?「建议收藏」

现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。因此对大数据的...

2022-08-19
1

什么是大数据开发?「建议收藏」

大数据作为时下火热的IT行业的词汇,随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临,大数据开发也应运而生。...

2022-08-19
1

【Spark】Spark基础教程

Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。

2022-08-19
1

SparkSQL执行时参数优化

近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力.

2022-08-17
1

Linux下Spark开发环境搭建

10、服务器集群:192.168.0.110(master),192.168.0.111(slave1),192.168.0.112(slave2)

2022-08-13
1

MarsTalk | Trouble Trouble Shooting

好久不见,我是Mars先生小量子!今天MINMIN有空手道训练,来不及写本周的推送了,只能由我救急了~正好最近处理了好几个客户报的bug,搞得我焦头烂额,乘此机会分享一下trouble shooting的经历。...

2022-08-11
1