DFSInputStream类共有三个read方法:
public synchronized int read(final ByteBuffer buf)
public synchronized int read(final byte buf[], int off, int len)
public int read(long position, byte[] buffer, int offset, int length)
最有吸引人的方法是第三个,支持部分读取HDFS文件,这是由于此类的父类实现了Seekable, PositionedReadable接口。
这里对第三个方法的参数加以解释:
position :针对指定hdfs文件的位置,开始从position读起;
offset :针对buffer而言,内容从offset开始填起,就是说buffer中的前(offset-1)的空间会空出来(不伤害之前填写的内容);
length :本次读取的长度(byte单位),确保offset length <= buffer.size;
这里纠正一个习惯看法,之前一直说block是Hadoop的基本管理单元,很容易容易hadoop每次会把一整个块的数据读入内存。跟踪源码发现,hadoop读入块信息,再根据具体的偏移信息读入相关的部分数据,而不是每次都机械的读入整个块。