最新 最热

[1129]HDFS查看文件的两种方式

可以查看hdfs文件目录的结构,副本数,block大小,文件的大小,但是不能查看文件的内容,要是查看文件的内容的话,得把文件给下载下来

2022-04-28
1

听说你想把对象存储当 HDFS 用,我们这里有个方案...

传统的大数据集群往往采用本地中心化的计算和存储集群。比如在谷歌早期的【三驾马车】中,使用 GFS 进行海量网页数据存储,用 BigTable 作为数据库并为上层提供各种数据发现的能力,同时用 MapReduce 进行大规模数据处理。...

2021-11-24
2

日更系列:错误设置protobuf对象的防不胜防

为了做一件事情,设置推荐响应的物品item的打分结果。(item在这个场景是广告app)。

2021-10-12
3

2021年大数据Spark(四十一):SparkStreaming实战案例六 自定义输出 foreachRDD

foreachRDD函数属于将DStream中结果数据RDD输出的操作,类似transform函数,针对每批次RDD数据操作,但无返回值

2021-10-09
2

实现HDFS数据上传和下载代码

import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.Outp...

2021-09-24
1

【HDFS】读写机制与安全模式

在向NameNode写文件时,首先由客户端向NameNode发起文件上传请求,NameNode检查文件要上传的目录,并鉴权。

2021-09-10
1

Linux报错:rm: 无法删除“xxx“: 结构需要清理

一、问题描述1、报错提示 重新清理hdfs的时候,发现有一个文件删除不了,出现以下报错 rm: 无法删除"xxx": 结构需要清理 二、问题解决1、查看磁盘挂载df -h2、卸载磁盘挂...

2021-04-27
1

HDFS 特性

数据保存多个副本,副本丢失后自动恢复。 可构建在廉价(与小型机大型机对比)的机器上,实现线性扩展。(随着节点数量的增加,集群的性能-计算性能和 存储性能都会有所增加)...

2021-04-15
1

记一次spark的job倾斜

快下班了,结果集群维护群炸了,说hdfs丢块了,吓得我赶紧上去看看。发现50070页面并没有提示丢块,那我就帮着排查下吧

2021-03-19
2

Spark 在金融领域的应用之日内走势预测

2014年后半年开始,国内 A 股市场可谓是热火朝天啊,路上的人谈的都是股票。小弟虽然就职金融互联网公司,但之前从来没有买过股票,但每天听着别人又赚了几套房几辆车,那叫一个心痒痒啊,那感觉,就跟一个出浴美女和你共处一室,但...

2021-03-05
1