hadoop3 问题大杂烩

2019-05-25 09:27:23 浏览数 (1)

1. 网页ui上传文件失败

网页中查看文件夹/在文件夹内上传文件出现错误

代码语言:javascript复制
Permission denied: user=dr.who, access=READ_EXECUTE inode="/tmp" 

https://blog.csdn.net/King_818/article/details/64998693 修改那个文件夹的权限

  1. 增加本地环境变量
  2. 修改本地用户账号
  3. 修改hdfs配置 core-site.xml ,添加 dfs.permissions : false, 并修改目录权限可写入(仅适合测试环境,不推荐)

2. DataNode启动成功而livenode显示为1

https://blog.csdn.net/u011811966/article/details/78424217

3. 修改主机名

https://blog.csdn.net/dengjin20104042056/article/details/80462511 首先:

代码语言:javascript复制
sudo /etc/hostname

修改为新主机名,然后:

代码语言:javascript复制
sudo nano /etc/hosts

在其中添加一行,

代码语言:javascript复制
127.0.1.1 xxhostname

其中xxhostname为你的新主机名,该行将主机名映射到127.0.1.1。

注意,一个域名只能映射到一个ip,确保文件中没有将一个域名映射到两个ip上,如果有重复,就去掉多余的。

重启生效。

4. hadoop3 节点datanode变为deadnode

https://www.cnblogs.com/zhzhang/p/3966368.html

在坏死的节点上输入如下命令即可:

代码语言:javascript复制
hdfs --daemon start datanode

启动datanode。

5. hadoop 找不到或无法加载主类org.apache.hadoop.mapreduce.v2.app.MRAppMaster

一般在 shell中输入

代码语言:javascript复制
hadoop  classpath

输出为

代码语言:javascript复制
/etc/hadoop/conf:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop/.//*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/./:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-hdfs/.//*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-yarn/lib/*:/opt/cloudera/parcels/CDH-5.14.2-1.cdh5.14.2.p0.3/lib/hadoop/libexec/../../hadoop-yarn/.//*:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/lib/*:/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/.//*

然后 这些输出 直接 粘贴到 yarn 的配置文件里 yarn-site.xml 的 属性 <name>yarn.application.classpath</name>赋值

0 人点赞