主要介绍针对平台的spark应用程序,在不修改用户程序的情况下 如何采集其资源和性能指标为后续分析使用,如性能优化,资源使用计价等.

平台目前大多数任务都是Spark任务，用户在提交Spark作业的时候都要进行的一步动作就是配置spark executor 个数、每个executor 的core 个数以及 executor 的内存大小等，这项配置目前基本靠用户个人经验，在这个过程中，有的...

https://blog.csdn.net/zym1117/article/details/79532458

Master和Worker是Spark的守护进程、集群资源管理者，即Spark在特定模式下正常运行所必须的进程。

链接：https://pan.baidu.com/s/1YczOo5novINV_MimJ9Xpqg提取码：psvm

4.Badusb内部结构 从这张图便可以了解到–Badusb和普通的U盘并没有什么两样，因此迷惑性极高，很容易攻击成功

有了字段间的血缘关系，便可以知道数据的来源去处，以及字段之间的转换关系，这样对数据的质量，治理有很大的帮助。

sql-code-intelligence 支持标准的Spark SQL补全，也支持[MLSQL](allwefantasy/mlsql)语法补全。

17，18是计算引擎火热的两年，19年已然是红海了。计算引擎中的王者是Spark，综合指标最好，生态也好，当其他引擎还在ETL,交互查询，流上厮杀时，Spark已经在AI领域越走越远。...

三年前我做MLSQL时，只是希望它能够用配置化脚本完成ETL(批和流)流程。比如一个典型的流式程序大概长这个样子：