最新 最热

Hadoop系列--MapReduce运行模式

1、在eclipse中开发好mr程序(windows或linux下都可以),然后打成jar包(hadoop-mapreduce.jar),上传到服务器

2023-06-29
2

MapReduce源码分析

connect()->new Cluster(getConfiguration());

2023-06-29
1

深入理解MapReduce:使用Java编写MapReduce程序【上进小菜猪】

MapReduce是一种用于处理大规模数据集的并行编程模型。由于其高效性和可扩展性,MapReduce已成为许多大型互联网公司处理大数据的首选方案。在本文中,我们将深入了解MapReduce,并使用Java编写一个简单的MapReduce程序。...

2023-05-09
1

【上进小菜猪】深入了解Hadoop:HDFS、MapReduce和Hive

在当今的大数据时代,数据的处理和分析已经成为企业发展的必要条件之一。Hadoop作为一种开源的大数据处理框架,已经成为后端大数据处理的重要工具之一。本文将介绍如何在后端使用Hadoop进行大数据处理,包括Hadoop的安装和...

2023-05-09
2

hive性能调优 读书笔记 - 问题排查、调优、数据处理模式

还有其他命令 explain vectorization operator,explain vectorization expression

2023-03-12
1

自定义工具函数库(二) 数组相关

循环,数组的每个元素都调用一次函数,并把每次循环得到的返回值都存好,循环结束后,把存好的数组返回。

2023-03-11
2

【Python】Pickle/PyTorch反序列化漏洞

通常情况下,会用到Pickle来将一些变量/对象转换成字节串进行存储,此操作称为序列化。 读取pkl文件,还原其中的数据,此操作称为反序列化。

2023-03-09
1

代码看起来一点也不优雅,试试Stream

JDK的发行版本都已经衍生至19了,这个从8就引入的Stream流应当是属于Java程序员基操了。然而最近面试遇到开发经验3年的工程师,对它似乎不是很熟悉,让我大吃一惊。本文通过常用的一些简单的例子把它以最小的时间成本给大...

2023-03-07
1

java8-Stream Api流详解

流的定义:通俗地说,不用再写循环,判断等细节实现的代码,直接以声明式方式编写你的意图。节省了大量的中间容器去存储临时的中间变量。那流怎么来的呢,有这么一个定义:从支持数据处理操作的源生成的元素序列,流处理的是计算,集...

2023-03-06
1

碧格大特 · Hadoop的横空出世

远古时代,boss下达任务,我要看这一年我的商业帝国各个业务的销售报表,公司整体运行的情况。No Problem!咻咻咻,SQL几百行,熬夜跑几趟。不行等一会,调试我最棒。oracle,mysql,虽然慢了点,虽然SQL多了点,但是总是能在老板的咖啡泡...

2023-03-06
2