网上看了很多文章都不完整，所以亲自写一遍。
brew 安装
brew reinstall hadoop hive hbase
hadoop配置与操作
进入主目录：
/usr/local/Cellar/hadoop/3.1.2
配置文件都在/usr/local/Cellar/hadoop/3.1.2/libexec/etc/hadoop
1.修改hadoop-env.sh中的JAVA_HOME
运行：
代码语言：javascript复制/usr/libexec/java_home查看
2.core-site.xml
代码语言：javascript复制<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
<description>A base for other temporary directories</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>3.hdfs-site.xml
变量dfs.replication指定了每个HDFS数据库的复制次数。 通常为3, 由于我们只有一台主机和一个伪分布式模式的DataNode，将此值修改为1
代码语言：javascript复制<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>4.格式化(进入主目录)
格式化hdfs操作只要第一次才使用，否则会造成数据全部丢失
代码语言：javascript复制./bin/hdfs namenode -format启动
注意路径，一定要在安装的根目录下操作，否则会失败
代码语言：javascript复制/usr/local/Cellar/hadoop/3.1.2启动关闭hadoop
代码语言：javascript复制./sbin/start-dfs.sh
./sbin/stop-dfs.sh查看hadoop
http://localhost:9870/
启动关闭hadoop的资源管理（没怎么用过，启动过程没有）
代码语言：javascript复制./sbin/start-yarn.sh
./sbin/stop-yarn.sh查看yarn
http://localhost:8088/cluster
启动/关闭Hadoop服务(等效上面两个，但没怎么用过)
代码语言：javascript复制./start-all.sh
./stop-all.sh创建目录（未使用）
代码语言：javascript复制./bin/hdfs dfs -mkdir /user这里的/user不是mac的/user，指的是hdfs的路径。
代码语言：javascript复制./bin/hdfs dfs -mkdir /user/inputhbase操作（非必须安装）
代码语言：javascript复制/usr/local/Cellar/hbase/1.3.4一定要在安装目录下
代码语言：javascript复制./bin/start-hbase.sh
./bin/stop-hbase.shhive安装与使用（结合上面的hadoop）
安装
brew install hive
查看HIVE_HOME
/usr/local/Cellar/hive/3.1.2
配置，使用mysql做metastore
放mysql jdbc 连接包
mysql-connector-java-5.1.27.jar
放到$HIVE_HOME/libexec/lib/下
下载地址：
https://dev.mysql.com/downloads/connector/j/5.1.html
进入mysql
mysql -uroot -p
create database metastore;
修改配置文件
代码语言：javascript复制cd $HIVE_HOME/libexec/conf/
cp hive-default.xml.template hive-site.xml
vi hive-site.xml修改如下：
数据库相关
代码语言：javascript复制<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>yourpassword123456</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost/metastore</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>hive文件目录
代码语言：javascript复制<property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.exec.local.scratchdir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/tmp/hive</value>
</property>
<property>
<name>hive.query.results.cache.directory</name>
<value>/tmp/hive/_resultscache_</value>
</property>初始化数据库
代码语言：javascript复制$HIVE_HOME/bin/schematool -dbType msyql -initSchema启动Hive 的 Metastore Server服务进程（重要）
代码语言：javascript复制$HIVE_HOME/bin/hive --service metastore &起动
代码语言：javascript复制hive检查
代码语言：javascript复制hive>show tables;安装配置中遇到问题，欢迎留言交流。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/100403.html原文链接：
