Mac Spark安装和环境变量设置

2021-06-21 20:10:54 浏览数 (1)

Spark安装

官网下载spark,本文使用2.4.8

截屏2021-06-17 09.30.17.png

安装spark到/usr/local/ terminal中定位到spark-2.4.8-bin-hadoop2.7.tgz目录,移动spark-2.4.8-bin-hadoop2.7.tgz到/usr/local

代码语言:javascript复制
rm spark-2.4.8-bin-hadoop2.7.tgz /usr/local

解压缩spark-2.4.8-bin-hadoop2.7.tgz

安装pyspark(本文使用python3,且mac自带python 2.7)

代码语言:javascript复制
pip3 install pyspark

设置环境变量 打开~/.bash_profile

代码语言:javascript复制
vim ~/.bash_profile

添加

代码语言:javascript复制
export SPARK_HOME=/usr/local/spark-2.4.8-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

使环境变量生效

代码语言:javascript复制
source ~/.bash_profile

在terminal中输入

代码语言:javascript复制
pyspark

截屏2021-06-17 09.33.45.png

出现这个界面就安装好了

0 人点赞