Spark 高难度对话 SQL Server 后记

2019-12-25 11:59:04 浏览数 (1)

GIIS (Global Information Industry Summit)峰会已经结束一周了。

从拉斯维加斯回来的 L 却依然兴奋,被冷冰的 SQL Server , Oracle 门票价挫伤之后,阴差阳错进入了另一片广袤的技术天地。

对于技术宅,莫过激起他研究到底的雄心,而此时的大数据生态正好给了 L 一味兴奋剂,而且剂量不低于 500CC.

目睹了 Spark 与 SQL Server 之间亦友亦敌的对话之后,L 毅然决定深入去了解 big data 的整个生态链。

天天 捧着 300 多页的 Spark User Guide 在汇智中心的 Starbucks 啃。

V

类似的 Guide, L 捧回来很多,装满十字徽章电脑包。 不幸的是在浦东国际机场下飞机时,背带断了一根。

L 想都没想,拿起给媳妇儿带的菲拉格慕大耳朵包,直接塞满。

“破包就是娇气,塞完 Hive 就鼓鼓囊囊了,还特么 2000 美金,200 块都比它耐用”

L 没想到的是,媳妇儿看到念叨了 1 年的菲拉格慕后,让他坐了一上午的仙人球,直到晚饭时,才把刺儿拔完。

V

连续几天, L 都没怎么睡好觉了,只是对 L 来说,现在没有什么比看完一沓足足有马克杯那样高的资料来的更重要。

所以平时休闲喝的热焦马,也变成加了 2 份 shot 咖啡的热美式。指尖快速在新买的 12.9 寸的 iPad Pro 上敲打,速充在一旁随时候命。

“ Spark 其实也是个半吊子的实时计算引擎,采用微批次,缩短 ETL 间隔时间,加载数据到内存来完成分布式计算”

“而且,Spark SQL 的威力要发挥,还是基于空间换时间的策略,先在 Hive 上把数据预装载,分区得当,接着用 Spark SQL 的 Hive 适配器,读取数据”

“嗯,最佳实践一定是这样.....”

L 嘬了一口美式,一声短叹之后,拿起 iPad Pencil 在屏幕上画了张草图:

“有了这张图,以后再回顾就方便啦”

直到 L 改满意了, 喝完最后一滴美式,拿起媳妇儿给他缝好的十字徽章电脑包,径直走向 X 投资大厦。

在 L 快速挪动的步伐中,他早已想好了下一个研究对象,那就是 Spark SQL 的前道工序,Hive.

“ 我应该把 Hive 搭建起来,再玩 Spark SQL. 单机 Spark 实在太玩具了。”

0 人点赞