最新 最热

大数据入门:Hadoop核心设计思想

在面对大批量的数据处理任务的时候,Hadoop已经成为稳定高效的平台框架选择,Hadoop在大数据处理上得到重用,那么就代表着想要从事大数据行业的我们,也需要对于Hadoop有足够充分的认识和掌握,今天的Hadoop入门学习,为大家分享...

2021-06-25
1

Hadoop学习教程(二) ---- CentOS下安装JDK

上篇我们讲述了如何使用VMware安装CentOS系统,接下来就看如何安装我们最为熟悉的jdk吧!安装前先看看系统上有没有安装过jdk,输入java -version,如果查询出了其他版本的jdk版本,就先删除了,笔者这里使用jdk1.6。说开始就开...

2021-06-24
1

eclipse scala failed to load the jni shared library

3)马克-to-win @ 马克java社区:之后再重新启动Eclipse,又报错:“failed to load the jni shared library”

2021-06-24
1

hive学习笔记之一:基本数据类型

https://stackoverflow.com/questions/37863194/insert-timestamp-into-hive/37868132

2021-06-24
1

腾讯云EMR基于YARN针对云原生容器化的优化与实践

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低,...

2021-06-23
1

腾讯云EMR基于YARN针对云原生容器化的优化与实践

导语 | 传统HADOOP生态系统使用YARN管理/调度计算资源,该系统⼀般具有明显的资源使⽤周期。实时计算集群资源消耗主要在⽩天,而数据报表型业务则安排在离线计算集群中。离在线业务分开部署的首要问题就是资源使用率低,...

2021-06-23
1

Hadoop入门 Java api操作hdfs

新建项目File->New->Module->Maven,选择quickstart新建项目1.jpg设置文件名和文件地址新建项目2.jpg点击完成新建项目3.jpg项目目录新建项目4.jpg配置pom.xml添加hadoop依赖包<!--添加hadoop依赖--><dependency> ......

2021-06-22
1

Ubuntu12.10 安装hadoop1.0.4伪分布式

我是使用的虚拟机安装的,安装Ubuntu 12.10那就不说了,说一下简单的安装Hadoop1.0.4伪分布式的步骤。

2021-06-22
1

Hadoop入门 hdfs的shell操作

查看环境变量hadoop fs文件可视化浏览打开虚拟机中的火狐浏览器网址:http://localhost:50070打开 Utilities 下的 Browse the file syst

2021-06-22
1

Mac Spark安装和环境变量设置

安装spark到/usr/local/ terminal中定位到spark-2.4.8-bin-hadoop2.7.tgz目录,移动spark-2.4.8-bin-hadoop2.7.tgz到/usr/local

2021-06-21
1