最新 最热

【Spark常用算子合集】一文搞定spark中的常用转换与行动算子

转换算子是spark中的一种操作,用于从一个RDD转换成另一个RDD,它可以被用来创建新的RDD,也可以被用来转换已有的RDD。它们提供了一种通用的方法来完成RDD的转换,如map、filter、groupByKey等。...

2023-01-10
2

这个才200个人的公司,竟然有4个CTO!!!

2022年过得真快,12月了,我还有几个技术相关的话题一直想写却没写。今天本来是写其中一个技术话题的,结果,查资料发现,还是先写写八卦吧。

2023-01-10
1

Java Stream流

JDK的发行版本都已经衍生至19了,这个从8就引入的Stream流应当是属于Java程序员基操了,但是面试最近遇到开发经验3年的工程师,对它似乎不是很熟悉,让我大吃一惊。本文通过常用的一些简单的例子把它以最小的时间成本给大家...

2022-12-31
1

js 数组去除重复数据-5 个提升你 JS 编码水平的实例

虽然 2020 的今天,各种前端框架、工具林立,而这些框架跟工具也帮我们提前解决了不少麻烦的问题,但是工具始终是工具,扎实的基本功才是最核心的,现在一起来通过几个实际的代码片段来提高我们原生 JS 的编码水平。...

2022-12-26
2

数据去重,笔试题系列

方法三: 通过Set去重对应的id,然后根据reduce计算方法,将原数组数据映射到对象中,然后返回对象的值

2022-12-21
1

Python学习:内建属性、内建函数的教程

子类没有实现init方法时,默认自动调用父类的。 如定义init方法时,需自己手动调用父类的 init方法。

2022-12-17
1

大数据面试题(五):Hadoop优化核心高频面试题

1.1、合并小文件:在执行mr任务前将小文件进行合并,大量的小文件会产生大量的map任务,增大map任务装载次数,而任务的装载比较耗时,从而导致 mr 运行较慢。...

2022-12-14
1

大数据面试题(三):MapReduce核心高频面试题

1、Copy阶段:ReduceTask从各个MapTask上远程拷贝一片数据,并针对某一片数据,如果其大小超过一定阈值,则写到磁盘上,否则直接放到内存中。

2022-12-14
2

大数据面试题(五):Hadoop优化核心高频面试题

1.1、合并小文件:在执行mr任务前将小文件进行合并,大量的小文件会产生大量的map任务,增大map任务装载次数,而任务的装载比较耗时,从而导致 mr 运行较慢。...

2022-12-12
1

大数据面试题(三):MapReduce核心高频面试题

1、Copy阶段:ReduceTask从各个MapTask上远程拷贝一片数据,并针对某一片数据,如果其大小超过一定阈值,则写到磁盘上,否则直接放到内存中。

2022-12-12
2