在大数据的诸多技术框架当中，Spark发展至今，已经得到了广泛的认可。Hadoop与Spark可以说是企业级数据平台的主流选择，基于不同的应用场景，来搭建符合需求的大数据系统平台。今天我们就来讲讲其中的Spark，Spark核心运行流程...

本期的问题来自于stackoverflow.com，由于大猫实在想不出简洁的翻译，想来想去还是原标题最能描述问题，所以干脆直接借用。如果硬要翻译的话，大概就是“当某条件成立时，找到这个观测后N行的观测”。...

用 reduce 则用 很少 的代码解决，尤其是采用了 ==es6== 语法后，更加简单

在HDFS集群运维过程中，常会碰到因为实际业务增长低于集群创建时的预估规模；集群数据迁出,数据节点冗余较多；费用控制等原因，需要对集群进行缩容操作。Decommission DataNode是该过程中关键的一步，就是把DataNode从集群中移...

摘要：HBase自带许多运维工具，为用户提供管理、分析、修复和调试功能。本文将列举一些常用HBase工具，开发人员和运维人员可以参考本文内容，利用这些工具对HBase进行日常管理和运维。...

匿名函数，顾名思义就是没有名字的函数，在程序中不用使用 def 进行定义，可以直接使用 lambda 关键字编写简单的代码逻辑。lambda 本质上是一个函数对象，可以将其赋值给另一个变量，再由该变量来调用函数，也可以直接使用。...

将save_best_only 设置为True使其只保存最好的模型,值得一提的是其记录的acc是来自于一个monitor_op,其默认为”val_loss”,其实现是取self.best为 -np.Inf. 所以,第一次的训练结果总是被保存....

在IT技术领域，大数据是热点，大数据技术也是热点，以Hadoop为例，作为主流的第一代大数据技术框架，可以说是入门必学。而学习Hadoop，通常从核心框架HDFS和MapReduce学起，今天我们就主要来讲讲Hadoop MapReduce编程入门。...

自 Serverless 理念提出以来，很多人都问：Serverless 能干什么？ 那我就用 Serverless 界顶流的 Rap 唱给你！ Serverless 给开发者带来最直观的感受就是 —— Reduce your ops! I’m gonna reduce your opsI’m gonna redu...

大家在使用 ApacheSpark2.x 的时候可能会遇到这种现象：虽然我们的SparkJobs 已经全部完成了，但是我们的程序却还在执行。比如我们使用SparkSQL 去执行一些 SQL，这个 SQL 在最后生成了大量的文件。然后我们可以看到，这个 S...