最新 最热

Hadoop完全分布式安装部署

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。我们本次主要完成搭建实际生产环境中比较常用的完全分布式模式,搭建完全分布式模式之前需要对集群部署进行提前规划,不要将过多的服务集中到一台节点上,我...

2021-09-02
1

利用零信任微分段来保障美国联邦政府网络安全

分段(Segment)是网络安全的基本思想(国内经常称为隔离)。传统的网络分段(现在被视为宏分段),已经存在多年,最初是为了提高效率和减少广播域而开发的。而伴随着数据中心和虚拟化技术的兴起,更加细粒度的微分段已经成为安全发展...

2021-09-01
1

HDFS入门和应用开发:实战微博HDFS案例(上)

微博有大量的用户数据,为了分析微博用户的行为。我们可以将微博的数据上传到HDFS,然后供其他大规模文本、情感分析程序来处理。

2021-08-31
1

HDFS入门和应用开发:实战微博HDFS案例(上)

微博有大量的用户数据,为了分析微博用户的行为。我们可以将微博的数据上传到HDFS,然后供其他大规模文本、情感分析程序来处理。

2021-08-31
1

Hadoop初体验之Hadoop安装包目录结构

#在/export/data/目录中创建a.txt文件,并写入数据 cd /export/data/ touch a.txt echo "hello" > a.txt #将a.txt上传到HDFS的根目录 hadoop fs -put a.txt /

2021-08-26
1

Hadoop环境搭建完成后的压力测试

向HDFS文件系统中写入数据,10个文件,每个文件10MB,文件存放到/benchmarks/TestDFSIO中

2021-08-26
1

HDFS 是如何实现大数据高容量、高速、可靠的存储和访问的。

对于一个企业大数据应用来说,搞定了大数据存储基本上就解决了大数据应用最重要的问题。Google 三驾马车的第一驾是GFS,Hadoop最先开始设计的就是HDFS,可见分布式存储的重要性,整个大数据生态计算框架多种多样,但是大数据的...

2021-08-26
1

GooseFS透明加速能力,助力加速 CosN 访问 COS 的性能

原生的对象存储接口协议并不兼容HDFS文件语义,因此对象存储COS提供了COSN工具这一的标准的 Hadoop 文件系统实现,可以为 Hadoop、Spark 以及 Tez 等大数据计算框架集成 COS 提供支持。...

2021-08-25
1

大数据技术之Hadoop3.x笔记

3.x core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml workers

2021-08-23
1

开源大数据与鲲鹏多核结构渊源

在数据和经济时代,业务和数据的多样性需要新的计算架构,海量的数据增长也带来了更高的计算需求。那么在这个过程中,鲲鹏计算产业也正在成为更多计算场景的新一代 IP 基座。基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术实施...

2021-08-23
1