最新 最热

分布式系统 CAP 理论

CAP 理论是一个被说烂了也听烂了的话题,但是还是选择花点时间做整理,做些横向拓展,加点自己的感受,认认真真讨论一下。

2022-10-27
1

HDFS原理概念扫盲

hdfs文件系统主要设计为了存储大文件的文件系统;如果有个TB级别的文件,我们该怎么存储呢?分布式文件系统未出现的时候,一个文件只能存储在个服务器上,可想而知,单个服务器根本就存储不了这么大的文件;退而求其次,就算一个服务...

2022-10-27
1

HDFS-集群扩容及缩容

白名单:在白名单的主机IP地址可以访问集群,对集群进行数据的存储。不在白名单的主机可以访问集群,但是不会在主机上存储数据企业中:配置白名单,可以尽量防止黑客恶意访问攻击。...

2022-10-27
1

Uber 是如何提高 HDFS I/O 利用率的

以较低的硬件成本扩展我们的数据基础设施,同时保持高性能和服务可靠性并非易事。为了适应 Uber 数据存储和分析计算的指数级增长,数据基础设施团队通过结合硬件重新设计软件层,以扩展 Apache Hadoop® HDFS :...

2022-10-27
0

唯品会亿级数据服务平台落地实践

数据服务是数据中台体系中的关键组成部分。作为数仓对接上层应用的统一出入口,数据服务将数仓当作一个统一的 DB 来访问,提供统一的 API 接口控制数据的流入及流出,能够满足用户对不同类型数据的访问需求。...

2022-10-27
1

大数据

基于海量数据的存储与处理面临挑战,TB级到PB级; 行业技术标准的日益形成,Hadoop; 趋势:

2022-10-25
1

MapReduce全局变量之捉虫记

写MapReduce程序时候,有时候需要用到全局变量,常用的全局变量实现由三种方式:

2022-09-23
1

vivo 万台规模 HDFS 集群升级 HDFS 3.x 实践

Hadoop 3.x的第一个稳定版本在2017年底就已经发布了,有很多重大的改进。

2022-05-16
1

Sqoop导入Oracle数据表到HDFS

1、问题[root@node1 sqoop-1.4.7]# bin/sqoop import --connect jdbc:oracle:thin:@192.168.1.100:1521:TPADC --username test --password test --table fund_info -m 1;Wa...

2022-05-06
1

使用 HDFS 协议访问对象存储服务

原生对象存储服务的索引是扁平化的组织形式,在传统文件语义下的 List 和 Rename 操作性能表现上存在短板。腾讯云对象存储服务 COS 通过元数据加速功能,为上层计算业务提供了等效于 HDFS 协议的操作接口和操作性能。...

2022-05-06
1