Hadoop Common：这是Hadoop的核心组件，包含Hadoop的所有基础库和公共工具。

RDBMSHadoop Data TypesRDBMS relies on the structured data and the schema of the data is always known.Any kind of data can be stored into Hadoop i.e. Be it s...

Hadoop是一个分布式系统基础架构，可以高效地存储和处理大规模的数据集。本文将介绍如何在Linux上搭建Hadoop集群。一、环境准备安装Java：Hadoop是基于Java编写的，需要先安装Java。创建普通用户：为了安全起见，我们不应该直...

非高可用 k8s 环境，可参考我这篇文章：入门 Hadoop 在 K8S 环境中部署

首先，我想让大家思考一个问题：如果你不懂大数据架构，你是否能保障大数据输出数据质量？

上篇【rainbowzhou 面试4/101】技术提问中，我着重说明了ETL测试中常见的两种测试场景，以及相应地测试方法。那么在实际大数据项目过程中，会遇到哪些问题呢？本篇就带你了解大数据测试过程中遇到的一些经典测试问题，并针对问...

hadoop fs ，hadoop dfs 和 hdfs dfs的区别1、hadoop fs：该命令可以作用于hadoop的所有子系统2、hadoop dfs：专门针对HDFS分布式文件系统3、hdfs dfs：专门针对HDFS分布式文件系统，使用hadoopdfs时内部会被转为hdfs dfs命令...

这些前置技能就是仅供参考，等到学习大数据时，搭建Hadoop环境等的，能够很好的帮助理解。

mapred-site.xml：yarn 的 web 地址 和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上

远古时代，boss下达任务，我要看这一年我的商业帝国各个业务的销售报表，公司整体运行的情况。No Problem！咻咻咻，SQL几百行，熬夜跑几趟。不行等一会，调试我最棒。oracle，mysql，虽然慢了点，虽然SQL多了点，但是总是能在老板的咖啡泡...