MapReduce之片和块的关系

2020-07-21 10:14:18 浏览数 (1)

片大小的计算

代码语言:javascript复制
long splitSize = computeSplitSize(blockSize, minSize, maxSize);
代码语言:javascript复制
protected long computeSplitSize(long blockSize, long minSize, long maxSize) {
    return Math.max(minSize, Math.min(maxSize, blockSize));
  }

blockSize: 块大小 minSize: minSize从mapreduce.input.fileinputformat.split.minsize和1之间对比,取最大值 maxSize: 读取mapreduce.input.fileinputformat.split.maxsize,如果没有设置,则使用Long.MaxValue作为默认值

默认的片大小就是文件的块大小 文件的块大小默认为128M,默认每片就是128M!

  • 调节片大小 > 块大小:配置 mapreduce.input.fileinputformat.split.minsize > 128M
  • 调节片大小 < 块大小:配置 mapreduce.input.fileinputformat.split.maxsize < 128M

理论上来说:如果文件的数据量是一定的话,

  • 片越大,切片数量少,启动的MapTask少,Map阶段运算慢!
  • 片越小,切片数量多,启动的MapTask多,Map阶段运算快!

片和块的关系

片(InputSplit)

  • 在计算MR程序时,才会切片。片在运行程序时,临时将文件从逻辑上划分为若干部分
  • 使用的输入格式不同,切片的方式不同,切片的数量也不同
  • 每片的数据最终也是以块的形式存储在HDFS

块(Block): 在向HDFS写文件时,文件中的内容以块为单位存储!块是实际的物理存在!

建议: 片大小最好等于块大小!

因为将片大小设置和块大小一致,可以最大限度减少因为切片带来的磁盘IO和网络IO

0 人点赞