最新 最热

Linux集群分发脚本xsync[通俗易懂]

scp可以实现服务器与服务器之间的数据拷贝(from server1 to server2)

2022-08-22
0

【Spark】Spark基础教程

Spark最初由美国加州伯克利大学的AMP实验室于2009年开发,是基于内存计算的大数据并行计算框架,可用于构建大型的、低延迟的数据分析应用程序。

2022-08-19
1

什么叫大数据 大数据的概念

大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”...

2022-08-19
0

搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2

Hadoop是一个用Java编写的Apache开源框架,允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个...

2022-08-19
1

Hadoop(一)Hadoop核心架构与安装

大白话,Hadoop是个存储数据,计算数据的分布式框架。核心组件是HDFS、MapReduce、Yarn。

2022-08-18
1

Hadoop(二)HDFS基本操作

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/FileSystemShell.html

2022-08-18
1

Hadoop(三)通过C#/python实现Hadoop MapReduce

Hadoop中将数据切分成块存在HDFS不同的DataNode中,如果想汇总,按照常规想法就是,移动数据到统计程序:先把数据读取到一个程序中,再进行汇总。

2022-08-18
1

Hadoop(五)C#操作Hive

Hive将HiveQL(类sql语言)转为MapReduce,完成数据的查询与分析,减少了编写MapReduce的复杂度。它有以下优点:

2022-08-18
0

Hadoop(四)C#操作Hbase

Hbase是一种NoSql模式的数据库,采用了列式存储。而采用了列存储天然具备以下优势:

2022-08-18
1

二、分布式文件系统HDFS及其简单使用

在现代的企业环境中,单机容量往往无法存储大量数据,需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。

2022-08-18
0