3.x必须在java8环境为前提
- Common改进 shell被重写 过时api方法可能被删除 向下兼容老版本命令
- hdfs改进(ec代替副本机制 50%提升空间利用率) 删除编码方式 支持两个以上的namenode(高可用 可用 备用) datanode平衡 单个datanode管理多个磁盘目录。 添加或替换磁盘导致datanode数据倾斜。 现有hdfsbalanse没办法解决倾斜 ,使用新的diskbalance去cli解决 对应临时端口冲突,改进
- yarn改进 timeline历史版本稳定性 contain队列稳定
- mapreduce task提升30% 添加新方法、减小mr 的heap大小
- 其他 hadoop jar,避免hadoop的依赖和应用程序的依赖有关系上的泄露 继承微软 阿里存储系统文件系统