最新 最热

Spark主备切换机制原理

Master实际上可以配置两个,那么在spark原生的standalone上也是支持Master主备切换的,也就是说,当Active Master节点挂掉之后,我们可以将Standby Master切换为Active Master...

2021-09-14
0

Pyspark学习笔记(六)DataFrame简介

在Spark中, DataFrame 是组织成 命名列[named colums]的分布时数据集合。它在概念上等同于关系数据库中的表或R/Python中的数据框,但在幕后做了更丰富的优化。DataFrames可以从多种来源构建,例如:结构化数据文件、Hive中...

2021-09-14
0

干货 | 携程数据血缘构建及应用

cxzl25,携程软件技术专家,关注大数据领域生态建设,对分布式计算和存储、调度等方面有浓厚兴趣。

2021-09-14
1

(二)Superset 1.3图表篇——Time-series Table

本系列文章基于Superset 1.3.0版本。1.3.0版本目前支持分布,趋势,地理等等类型共59张图表。本次1.3版本的更新图表有了一些新的变化,而之前也一直没有做过非常细致的图表教程。...

2021-09-14
0

【简介】大数据技术体系

这一节,来认识下大数据的技术框架有哪些,它们分别用于解决哪些问题?它们的内在逻辑和适用场景有哪些?OK,一起去探索下。

2021-09-10
1

执行&查询引擎

Hive支持使用Spark作为底层执行引擎,以获得比MapReduce更快的处理性能。

2021-09-10
1

Alluxio在携程大数据平台的应用实践

在《携程技术2018年度合集》中,一共70篇文章中,只有5篇是大数据的内容。其中有一篇,讲到了Alluxio的应用过程。

2021-09-10
0

Hive On Spark搭建报错:Failed to create Spark client for Spark session xx: ..TimeoutException

既然是连接超时,可能有两种情况。一种是配置正常,但网络情况太差,响应还未返回给Hive就报错了。这种情况下,把请求等待时间改大就行。

2021-09-10
1

spark submit读写hudi

数据导入:cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P

2021-09-10
1

Spark IDEA 编程环境配置

学自:Spark机器学习实战 https://book.douban.com/subject/35280412/

2021-09-06
0