蓝桥签约作者、大数据&Python领域优质创作者。管理多个大数据技术群，帮助大学生就业和初级程序员解决工作难题。

本页面记录spark相关知识点# 1.spark介绍Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spa...

一般都发生在Sql中group by和join on上，而且和数据逻辑绑定比较深。

在这篇博文中，我们介绍了 Spark-Lineage，这是一种内部产品，用于跟踪和可视化 Yelp 的数据是如何在我们的服务之间处理、存储和传输的。

map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。

这两个月来，很多小伙伴留言问我618、双11各大电商后端的技术，最多的是关于系统压力暴增情况下如何进行MySQL数据库优化的。今天就结合我自己工作中的真实案例和大家分享一下吧。前几年我待过一家创业公司，做的是商城业务...

最近有粉丝秋招面试回来，说原来MySQL在互联网公司原来如此的重要！京东和阿里的面试中都被问到了。。。。。兄弟你才知道啊！防止在后续求职跳槽中还有对“MySQL”掉以轻心的人，这里给大家再简单强调一下：近年来在互联网行业...

如同SparkContext一样，StreamingContext也是Spark Streaming应用程序通往Spark集群的通道，它的定义如下：

这两个月来，很多小伙伴留言问我618、双11各大电商后端的技术，最多的是关于系统压力暴增情况下如何进行MySQL数据库优化的。今天就结合我自己工作中的真实案例和大家分享一下吧。前几年我待过一家创业公司，做的是商城业务...

Lambda架构由Storm 的作者 [Nathan Marz] 提出， 根据维基百科的定义，Lambda 架构的设计是为了在处理大规模数据时，同时发挥流处理和批处理的优势。通过批处理提供全面、准确的数据，通过流处理提供低延迟的数据，从而达到平...