Hadoop2.2.0中DFSInputStream类的read方法浅析

2022-06-29 20:52:54 浏览数 (1)

DFSInputStream类共有三个read方法:

public synchronized int read(final ByteBuffer buf)

public synchronized int read(final byte buf[], int off, int len)

public int read(long position, byte[] buffer, int offset, int length)

最有吸引人的方法是第三个,支持部分读取HDFS文件,这是由于此类的父类实现了Seekable, PositionedReadable接口。

这里对第三个方法的参数加以解释:

position :针对指定hdfs文件的位置,开始从position读起;

offset      :针对buffer而言,内容从offset开始填起,就是说buffer中的前(offset-1)的空间会空出来(不伤害之前填写的内容);

length    :本次读取的长度(byte单位),确保offset length <= buffer.size;

这里纠正一个习惯看法,之前一直说block是Hadoop的基本管理单元,很容易容易hadoop每次会把一整个块的数据读入内存。跟踪源码发现,hadoop读入块信息,再根据具体的偏移信息读入相关的部分数据,而不是每次都机械的读入整个块。

0 人点赞