Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的...

大数据起源于2000年左右，也就是互联网高速发展阶段。经过几年的发展，到2008年 Hadoop 成为 Apache 顶级项目，迎来了大数据体系化的快速发展期，到如今 Hadoop 已不单单指一个软件，而成为了大数据生态体系的代名词。...

海量的数据无论是存储还是计算，总是要保证其架构的高可用，数据仓库的构建是一个合的过程，而微服务又是一个分的过程，天下大势，分分合合。

在使用大数据的时候，各种不同的数据都要将数据采集同步到数据仓库中，一个是属于业务系统的RDBMS系统，也就是各种关系型数据库，一个是hadoop生态的存储，中间用于传输的数据的工具可以使用sqoop，也就是sql to hadoop。...

大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人...

学习大数据，就必须要有一台 Unix 或者 Linux 系统的电脑，苹果电脑首选就是最佳的选择，如果条件不支持，在 Windows 电脑上安装虚拟机 VM，再在 VM 里面安装 Linux 系统也是一种不错的选择，下面白鹿为大家奉上在 Windows 上安...

本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数...

解决 Apache Hadoop 启动时 DataNode 没有启动的问题（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）。

最近在 Win10 系统上配置了ubuntu-18.04.3，在配置集群的 ssh 无秘钥登录时，经常能碰到 ssh: connect to host master port 22: Connection timed out 的问题。

众所周知，Spark 它是专门为大规模数据处理而设计的快速通用计算引擎，因此Spark它在数据的挖掘等领域便有着非常广泛的应用，而从现阶段来讲的话它也已经形成了一个高速发展并且应用相当广泛的生态系统了。所以，今天这篇文...