最新 最热

第五章 更换cdh版本,hive的安装使用,原理讲解

这里由于小编的这里在安装hive时,由于出现了启动hive时出现了和hadoop的版本不一致的原因,并且始终没有解决,所以就改变策略使用cdh版本的hadoop和hive.因为cdh版本的比较系统,兼容性好。因此要重新安装了。...

2022-08-05
0

第四章:hadoop 启动wordcount实例,包括hadoop自带jar包和eclipsejar包。hdfs常用命令[通俗易懂]

1.4 ./bin/hadoop fs -mkdir /input 在hdfs上创建一个目录,用来存放刚才创建的文档

2022-08-05
0

第一章,安装Vmware和Ubuntu「建议收藏」

因为hadoop运行的平台是在linux上,而我们平时使用的电脑是windows系统的,所以要先按个虚拟机,最好的虚拟机软件自然是Vmware,下载他直接百度即可,

2022-08-05
0

hive优化大全-一篇就够了[通俗易懂]

1.概述   在工作中总结Hive的常用优化手段和在工作中使用Hive出现的问题。下面开始本篇文章的优化介绍。

2022-08-03
1

袋鼠云思枢:数驹DTengine,助力企业构建高效的流批一体数据湖计算平台

7月28日,以“数智进化,现在即未来”为主题的袋鼠云2022产品发布会于线上正式开幕。发布会上,袋鼠云宣布将集团进行全新升级:从“数字化基础设施供应商”,升级为“全链路数字化技术与服务提供商”,并由袋鼠云产研负责人思枢...

2022-08-03
1

大数据开发工程师需要具备哪些技能?[通俗易懂]

数据相关的工具、产品和技术:比如批量数据采集传输的 Sqoop 、离线数据处理的Hadoop 和Hive 、实时流处理的 Storm和 Spark 以及数据分析的R语言等。

2022-07-31
1

关于云计算的海量数据存储模型[通俗易懂]

随着越来越多的人使用计算机,整个网络会产生数量巨大的数据,如何存储网络中产生的这些海量数据,已经是一个摆在面前亟待解决的问题。现 在常见的三种存储方式是DAS、NAS 和SAN,但是面对网络产生的越来越多的数据,这三种方...

2022-07-29
0

datanode启动不了(datanode启动不了)

我在执行./start-all.sh之后发现,没有任何错误提示,输入jps得到如下结果:

2022-07-29
0

Hive小文件问题:如何产生、造成影响、解放办法

1.从Hive的角度看,小文件会开很多map,一个map开一个JVM去执行,所以这些任务的初始化,启动,执行会浪费大量的资源,严重影响性能。

2022-07-29
1

一篇文章搞懂数据仓库:数据应用--OLAP

数仓系列传送门:https://blog.csdn.net/weixin_39032019/category_8871528.html

2022-07-29
0