最新 最热

Hadoop基础教程-第5章 YARN:资源调度平台(5.3 YARN集群配置)

这个文件在《3.4 HDFS集群模式》http://blog.csdn.net/chengyuqiang/article/details/72058013中已经配置过了,这里不再重复配置。 需要注意:这个文件是指定子节点的位置,同时也是帮助Yarn指定NodeManager启动的位置。...

2022-05-06
0

Hadoop基础教程-第5章 YARN:资源调度平台(5.2 YARN参数解读与调优)

yarn-site.xml文件默认参数: http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

2022-05-06
0

Hadoop基础教程-第5章 YARN:资源调度平台(5.1 YARN介绍)

YARN的全称是Yet Another Resource Negotiator,意为另一种资源调度者。 从Apache Hadoop 2.0开始, Hadoop包含 YARN。

2022-05-06
0

Hadoop基础教程-第2章 Hadoop快速入门(2.4 Hadoop单机运行)

或者cd /opt/hadoop-2.7.3进入Hadoop根目录 通过pwd命令可以知道当前所在目录

2022-05-06
0

Ambari 常用的 REST API 介绍

Ambari 借鉴了很多成熟分布式软件的 API 设计。 Rest API 就是一个很好地体现。通过 Ambari 的 Rest API,可以在脚本中通过 curl 维护整个集群。 并且,我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。...

2022-05-06
1

如何使用git拉取代码及提交代码(详细)

第一步:首先在本地安装git和TorToiseGit小乌龟,svn同理,也可以安装下TorToiseGit中文语言包,前期可减少出错,后期熟悉了可直接用命令行pull代码

2022-05-05
0

[1131]Flink(1.13)命令行提交Job

请注意,客户端需要YARN_CONF_DIR或HADOOP_CONF_DIR环境变量来读取YARN和HDFS配置。没配置的话,就默认是 /etc/hadoop/conf。

2022-04-28
0

0879-7.1.7-如何在CDP安装NVIDIA Tesla T4并使用RAPIDS加速

本文作者:BYD信息中心-数据中心管理部-董睿 进入正文之前先打一个小广告,手动狗头 比亚迪西安研发中心(与深圳协同办公),base西安,招聘大数据平台运维、架构方向的工程师,实时计算方向工程师,感兴趣的小伙伴请投递简历至dong....

2022-04-28
0

大数据技术学习带来的思考

最基本的存储技术。日常应用把通过各种渠道得到的数据,如关系数据库、日志、埋点、爬虫数据都存储到HDFS,供后续使用。

2022-04-27
1

介绍

下面主要从架构、组件原理、业务场景等角度针对相关组件的技术要点进行总结. 主要以问题驱动.

2022-04-27
0