Spark安装
官网下载spark,本文使用2.4.8
截屏2021-06-17 09.30.17.png
安装spark到/usr/local/ terminal中定位到spark-2.4.8-bin-hadoop2.7.tgz目录,移动spark-2.4.8-bin-hadoop2.7.tgz到/usr/local
代码语言:javascript复制rm spark-2.4.8-bin-hadoop2.7.tgz /usr/local
解压缩spark-2.4.8-bin-hadoop2.7.tgz
安装pyspark(本文使用python3,且mac自带python 2.7)
代码语言:javascript复制pip3 install pyspark
设置环境变量 打开~/.bash_profile
代码语言:javascript复制vim ~/.bash_profile
添加
代码语言:javascript复制export SPARK_HOME=/usr/local/spark-2.4.8-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
使环境变量生效
代码语言:javascript复制source ~/.bash_profile
在terminal中输入
代码语言:javascript复制pyspark
截屏2021-06-17 09.33.45.png
出现这个界面就安装好了