最新 最热

Hadoop Delegation Tokens详解【译文】

本文是cloudera公司的一篇技术博客,原文地址: Hadoop Delegation Tokens Explained

2022-05-12
1

MapReduce开发运行的精简原理

相信关于Hadoop中MapReduce的相关文章会很多,这里只简单介绍一下MapReduce的相关知识。

2022-05-11
0

Spark有几种部署方式?

Spark部署模式分为Local模式(本地单机模式)和集群模式,在Local模式下,常用于本地开发程序与测试,而集群模式又分为Standalone模式(集群单机模式)、Yarn模式和Mesos模式,关于这三种集群模式的相关介绍具体如下:...

2022-05-11
0

使用Yarn与Lerna管理monorepo

Yarn workspace 是 Yarn 提供的 monorepo 下,管理依赖的机制。对代码仓库下,多个 package 的依赖,进行管理:将共同的依赖,做 hosting(提升)。这样,可以防止 package 中的包重复安装。...

2022-05-11
0

Hive LLAP概念透析

由于社区近年来构建的各种功能和改进,包括 Tez 和基于成本的优化,Hive 的速度显着提高。 将 Hive 提升到一个新的水平需要以下内容:

2022-05-11
0

在windows上编译Inlong所遇到的问题

在windows中,由于Inlong的很多单元测试用例都需要用到hadoop的相关组件进行测试。可以采用winunits配合测试,winutils是windows上专门配合hadoop和yarn测试的工具。 在github上下载该工具:...

2022-05-10
0

lerna最佳实践

在介绍我们今天的主角 lerna 之前,首先了解下什么是 multirepo ?什么是 monorepo ?

2022-05-10
0

Yarn工作原理和作业提交过程(图形化通俗易懂)

Yarn:为一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。...

2022-05-10
0

Win10安装Hadoop3.0.0(大数据入门必经之路)

2、将hadoop-3.0.0/bin文件复制一份,改名为hadoop-3.0.0/bin.template

2022-05-10
0

【Spark】 Spark的基础环境 Day03

​ 当Spark Application运行到YARN上时,在提交应用时指定master为yarn即可,同时需要告知YARN集群配置信息(比如ResourceManager地址信息),此外需要监控Spark Application,配置历史服务器相关属性。...

2022-05-08
0