【Hadoop 分布式部署 六:环境问题解决和集群基准测试】

2020-09-28 10:20:06 浏览数 (1)

环境问题:

    出现Temporary failure in name resolutionp-senior-zuoyan.com 的原因有很多,主要就是主机没有解析到,

    那就在hadoop的slaves 配置文件中 重新写一下主机名

    如果还是没有成功启动,就将slaves 文件删除,然后重新创建,可能原因就是因为在windows 环境下打开编辑

    文本中给添加了字符

集群基准测试(实际环境中必须的):

      集群搭建完成以后

          1. 基本测试:(创建目录、上传文件、Yarn运行程序、看看服务是否启动、是否可能、简单应用、)

              hdfs:读写操作 上传文件、读取内容

              yarn :运行一个程序 将mapreduce程序运行在yarn上

           2.基准测试 :

              测试集群性能

                hdfs:写数据、读数据

            监控集群:

                Cloudera

                 Cloudera Manager

                      * 部署 安装集群

                      * 监控集群

                      * 配置 同步集群

                      * 预警

             (现在学习的搭建方式是手工搭建,如果机器多了,这种手工搭建的方式,就不适用了)

              以后都是图形界面的工具化搭建方式!

0 人点赞