深入浅出学大数据（三）分布式文件系统HDFS及HDFS的编程实践

  大家好，我是不温卜火，昵称来源于成语—不温不火，本意是希望自己性情温和。作为一名互联网行业的小白，博主写博客一方面是为了记录自己的学习过程，另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限，博客中难免会有一些错误出现，有纰漏之处恳请各位大佬不吝赐教！博客主页：https://buwenbuhuo.blog.csdn.net/

目录

• 前言
• 一、分布式文件系统HDFS
• • 1.1 什么是分布式文件系统
  • 1.2 HDFS产生背景及定义
  • 1.3 HDFS的设计
  • 1.4 HDFS的优缺点
  • • 1.4.1 HDFS优点
    • 1.4.2 HDFS缺点
  • 1.5 HDFS的概念
  • • 1.5.1 数据块
    • 1.5.2 名称节点和数据节点
    • • 1. 名称节点（NameNode）
      • 2. 数据节点（DataNode）
  • 1.6 HDFS体系结构
  • 1.7 HDFS存储原理
  • 1.8 HDFS数据读写流程
• 二、HDFS的编程实践
• • 2.1 HDFS的Shell操作
  • • 2.1.1 命令大全
    • 2.1.2 常用命令及其作用对比表
    • 2.13 常用命令的实际操作
  • 2.2 利用Web界面管理HDFS
  • 2.3 利用Java API与HDFS进行交互
  • • 2.3.1 Eclipse操作Java API
    • • 1 在Ubuntu中安装Eclipse
      • 1. 使用Eclipse开发调试HDFS Java程序
    • 2.3.2 IDEA操作Java API
    • • 1. 测试前的准备
      • 2. HDFS的API案例实操

前言

此系列主要为我的学弟学妹们所创作，在某些方面可能偏基础。如果读者感觉较为简单，还望见谅！如果文中出现错误，欢迎指正~

本文主要介绍了HDFS简介及HDFS的编程实践，包括HDFS简介、HDFS相关概念、HDFS体系结构、HDFS存储原理、HDFS数据读写过程及HDFS编程实践。

一、分布式文件系统HDFS

1.1 什么是分布式文件系统

在说什么是分布式文件系统，我们需要先知道什么是文件系统，根据Google查询概念如下：