最新 最热

【Hadoop】怎么把高版本的代码合进去低版本YARN-7699

为什么会有这样的需求呢?举个例子,比如 Hadoop 3.0 有些比较 fancy 的功能,但是用户正在用着 2.8.5,但是用户也想用到 3.0 那个 fancy 的功能,那么这里就需要评估一下,把这个 3.0 的 Feature 合进来 2.8.5 了。...

2021-05-27
1

【Hadoop】org.apache.hadoop.ipc.xxx不存在

想在 IDEA 上运行 Hadoop 的单测,以为 Maven 相关的依赖和插件下载好就能跑了是吧?果不其然,没那么简单,下面就收到一个报错了: org.apache.hadoop.ipc.xxx不存在,见下图。...

2021-05-27
1

【Hadoop】 Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.8.5:protoc编译Hadoop问题

在打包 Hadoop 2.8.5 的时候,报错信息大概如上,其实很好解释,就是本地的 protoc 的版本跟 Hadoop 需要的版本不一样了,从报错信息可以知道,本地是 2.6.1,只要改成 2.5.0 即可。...

2021-05-27
1

铺天盖地云原生,什么才是真正的云原生数据仓库?

导语 | 分析型数据仓库经历了共享存储、无共享MPP、SQL-on-Hadoop几代架构的演进,随着云计算的普及,传统的数据仓库架构在资源弹性,成本等方面已经很难适应云原生的要求。本文由偶数科技 CEO,腾讯云TVP 常雷在 Techo TV...

2021-05-26
1

The BigData,Hadoop组成及生态

随着科技的发展,我们在网上留下的数据越来越多,大到网上购物、商品交易,小到浏览网页、微信聊天、手机自动记录日常行程等,可以说,在如今的生活里,只要你还在,你就会每时每刻产生数据,但是这些数据能称为大数据么?不,这些还不能...

2021-05-21
1

我的程序员之路03:我和大数据

又是一年乍暖还寒,春天的风迎面而来,凉意中夹杂着些许温暖。哦,你知道,是春天来了。就像那年的实习期,在挥手告别的毕业季,定格在了那年的七月。...

2021-05-20
1

Hadoop3.3.0安装与使用

查看(node,yarn) http://localhost:8042/node http://localhost:9870/

2021-05-19
1

hive添加字段

修改字段位置时一定要加cascade,否则会报错 ALTER TABLE t_coupon_info ADD COLUMNS (ca2 STRING COMMENT ‘生成’ ) cascade ; ALTER TABLE t_coupon_info change ca2 ca2 STRING AFTER tran......

2021-05-19
1

org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode

org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

2021-05-19
1

Mac Catalina安装配置hadoop hive hbase( 完整可用版)

配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop

2021-05-19
1