版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。 https://cloud.tencent.com/developer/article/1423508
一、首先搭建hadoop环境
https://cloud.tencent.com/developer/article/1514201
二、安装scala
命令行执行:brew install scala
执行完成后,终端输入:scala -version 进行查看,如下表明安装成功:
代码语言:javascript复制jiangxingqideMacBook-Pro:~ jiangxingqi$ scala -version
Scala code runner version 2.12.8 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.
然后在环境变量中增加scala相关的变量,命令行输入:vim ~/.bash_profile进行编辑,增加环境变量:
代码语言:javascript复制export SCALA_HOME=/usr/local/Cellar/scala/2.12.8
export PATH=$PATH:$SCALA_HOME/bin
三、安装spark
1、安装spark
进入Apache Spark官网进行Spark的下载,附Spark官网下载地址:http://spark.apache.org/downloads.html
下载完之后解压,并将解压后的文件夹移动到/usr/local/目录下,然后cd /usr/local进入到/usr/local目录下,使用命令更改该目录下的spark文件夹名称:sudo mv ./spark-2.0.2-bin-hadoop2.7 ./spark 将文件夹名称改为 spark 。
2、 配置环境变量
命令行输入:vim ~/.bash_profile进行编辑,增加环境变量:
代码语言:javascript复制export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
然后保存退出,执行source ~/.bash_profile,使之生效。
5.3 配置spark-env.sh
进入到Spark目录的conf配置文件中:cd /usr/local/spark/conf,执行命令:cp spark-env.sh.template spark-env.sh将spark-env.sh.template拷贝一份,然后打开拷贝后的spark-env.sh文件:vim spark-env.sh,在里面加入如下内容:
代码语言:javascript复制export SCALA_HOME=/usr/local/Cellar/scala/2.12.6
export SPARK_MASTER_IP=localhost
export SPARK_WORKER_MEMORY=4G
配置好之后,命令行执行:spark-shell,如果出现如下所示的画面,就表明spark安装成功了:
至此mac下spark单机环境就搭建完成了,以后就可以在spark shell中进行练习了。