Spark笔记5-环境搭建和使用

2021-03-02 15:32:38 浏览数 (1)

安装环境

  • 安装Java和Hadoop2.7.1
  • 官网下载
  • 配置spark的classpath

如果需要使用HDFS中的文件，则在使用spark前先启动Hadoop

伪分布式

将Hadoop配置成伪分布式，将多个节点放在同一台电脑上。HDFS中包含两个重要的组件：namenode和datanode

  • namenode：管家节点，数据库的服务作用，只有一个namenode
  • datanode：负责具体的存储数据相关

PySpark

  • pyspark提供了简单的方式来学习spark API
  • pyspark可以实时、交互的方式来分析数据
  • pyspark提供了Python交互式的执行环境
代码语言：javascript复制
pyspark --master <master-url>

运行模式

  1. Spark的运行模式取决于master url值。
  • 逻辑CPU个数 = 物理CPU的个数 * CPU的核数
  • K指的是本地线程个数
  • 集群模式：spark://localhost:7077，进入集群模式而且是本机独立的模式
  1. 采用本地模式启动pyspark的命令主要参数
    • –master：表示连接到某个master
    • –jars：用于把相关的jar包添加到classpath中；多个jar包，用逗号分割符进行连接
代码语言：javascript复制
# demo

# 本地模式运行在4个CPU上
cd /usr/local/spark
./bin/pyspark --master local[4]

# 使用 --jar 参数
cd /usr/local/spark
./bin/pyspark --master local[4] --jars code.jar

# 执行pyspark默认是local模式
./bin/pyspark  # 进入的是local[*]

# 帮助命令
./bin/ pyspark --help

# 进入后的退出命令（>>> 提示符）
>>>exit()
node.js hadoop jar 大数据 分布式

0 人点赞