这些资料都是我在工作中学习、解决问题的资料汇总，我不能保证这里罗列的所有资料对看到的人有用，但大部分都经过我的实际验证。在不断学习和实践过程中，我会不断更新和总结这些资料，同时欢迎大家留言交流。感谢这些资料的作者。
一、HDFS
1、集群安装：
Hadoop 2.6.0 HA高可用集群配置详解
2、NameNode：
HDFS NameNode内存全景
3、DataNode：
Hadoop--HDFS之DataNode
4、权限管理：
HDFS权限管理实践
5、数据平衡：
How does the HDFS balancer work internally?
HDFS Commands, HDFS Permissions and HDFS Storage
HORTONWORKS官方文档：Balancing in HDFS
6、集群治理：
应对Hadoop集群数据疯长，这里祭出了4个治理对策！
基于FsImage的HDFS数据深度分析
NameNode Analytics: PayPal’s Big Data Guardian
7、问题汇总：
（1）Hadoop Non DFS Used大小问题：
Hadoop hdfs界面：Hadoop Non DFS Used大小问题
关于hadoop hdfs中Non DFS Used占用很大的问题分析处理
（2）小文件处理：
HDFS自定义小文件分析功能
HDFS文件目录list操作加速优化
（3）Namenode写Journalnode超时，导致Namenode挂掉的问题：
Namenode写Journalnode超时，导致Namenode挂掉的问题
java.io.IOException: Timed out waiting 20000ms for a quorum of nodes to respond
关于机房交换机故障导致HDFS NameNode挂掉的问题（续）
NameNode HA异常调查
Timed out waiting 20000ms for a quorum of nodes to respond
namenode gc导致的故障一例
Standby NameNode is faling and only one is running
（4）HDFS NameNode 重启优化
（5）Hadoop节点"慢磁盘"监控
8、其他：
（1）Hadoop学习之路（十二）分布式集群中HDFS系统的各种角色
（2）监控相关：
HDFS Ports
hadoop指标项
NameNode Metrics
How to collect Hadoop metrics
二、YARN
1、调度队列：
Hadoop多用户资源管理–Fair Scheduler介绍与配置
Yarn公平调度器Fair Scheduler根据用户组分配资源池
YARN ResourceManager重启作业保留机制
【Free Style】Hadoop-Yarn之Resource Manager源码分析(四)
2、NodeManager：
NodeManager节点自身健康状态检测机制
3、ResourceManger：
ResourceManger Restart
YARN资源本地化深度解析
4、监控：
yarn社区原生界面详解
5、问题汇总：
（1）资源不足、任务资源分配不合理、队列资源分配不合理引起的资源预留问题：
What is Memory reserved on Yarn
Aggregate Resource Allocation for a job in YARN
（2）任务kill：
YARN批处理方式kill Applications解决方案
（3）Flink实时计算集群：ZooKeeper闪断导致的YARN任务状态不一致引起的RM崩溃问题：
NullPointerException in RM HA enabled 3-node cluster
NPE happened when RM restart after CapacityScheduler queue configuration changed
Flink on YARN with HA enabled crashes all RMs on attempt restoration
6、其他：
查看YARN任务日志的几种方式
YARN ApplicationId的生成方式
Yarn: Application Id - How is it generated ?
三、集群维护
关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析
四、博客&文章
1、lxw的大数据田地
2、过往记忆
3、Android路上的人
4、石杉的架构笔记：
兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理
大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
【性能优化的秘密】Hadoop如何将TB级大文件的上传性能优化上百倍
五、参考书籍
深度剖析Hadoop HDFS，林意群 著
Hadoop技术内幕：深入解析YARN架构设计与实现原理，董西成 著
大数据日知录，张俊林著
六、其他
1、Hadoop源码编译：
（1）环境准备：
- Mac安装protobuf 流程
- How to install Autoconf, Automake and related tools on Mac OS X from source?，执行如下命令安装：
brew install autoconf automake libtool（2）编译：
Hadoop工程根目录下的BUILDING.txt中Maven build goals部分列出了编译Hadoop源码要用的maven命令，以下是参考文章：
- Mac编译Hadoop源码
- 大数据源码编译系列——Hadoop编译
编译命令：
代码语言：javascript复制mvn clean package -Pdist,native -DskipTests -Dtar（3）问题解决：
- Mac Missing tools.jar 解决方案
- 关闭DocLint特性
