最新 最热

Spark命令详解

之前我们使用提交任务都是使用spark-shell提交,spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下可以用scala编写spark程序,适合学习测试时使用!...

2021-01-27
1

Spark环境搭建——on yarn集群模式

本篇博客,Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。

2021-01-27
1

Spark环境搭建——HA高可用模式

本篇博客,Alice为大家带来的是Spark的HA高可用环境搭建的教程。

2021-01-27
1

Spark环境搭建——standalone集群模式

这篇博客,Alice为大家带来的是Spark集群环境搭建之——standalone集群模式。

2021-01-27
1

Spark基础环境搭建——local本地模式

提前声明: 1.我们选择目前企业中使用最多的稳定版Spark2.2.0

2021-01-27
1

带你深入浅出,彻底了解什么是Spark?

大数据专业,或者人工智能,深度学习方向的小伙伴们一定对Spark这个名词不陌生吧~不认识也没有关系,今天Alice为大家带来关于Spark的一个详细介绍。

2021-01-27
1

迁移到Spark Operator和S3的4个集成步骤

在万事达,内部云团队维护我们的 Kubernetes 平台。我们的工作包括维护 Kubernetes 集群,这是我们所依赖的核心部署,并为租户提供了日志、监控等服务,并为租户提供了良好的体验。...

2021-01-27
1

Spark性能调优方法

主要原因是SparkSQL是一种声明式编程风格,背后的计算引擎会自动做大量的性能优化工作。

2021-01-26
1

探索MLlib机器学习

实用工具:线性代数,统计,数据处理等工具 特征工程:特征提取,特征转换,特征选择 常用算法:分类,回归,聚类,协同过滤,降维 模型优化:模型评估,参数优化。...

2021-01-26
1

【大数据哔哔集20210117】Spark面试题灵魂40问

1)本地模式   Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类   local:只启动一个executor   local[k]:启动k个exec...

2021-01-26
1