MapReduce工作笔记——Streaming输出output压缩

提交job时指定如下参数：

代码语言：javascript复制

-D mapred.output.compress=true 
-D mapred.output.compression.codec=[CODEC] 

其中[CODEC] 有如下几种：

代码语言：javascript复制

# gz压缩:	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec
# lzo压缩：	
-D mapred.output.compression.codec=com.hadoop.compression.lzo.LzoCodec
# Bzip2压缩：	
-D mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec

ode

0 人点赞