部分调优
spark-env.sh: spark.speculation 的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别较慢的任务带来的影响。默认值false spark.driver.memory 为driver进程分配的内存。注意：在客户端模式中，不能在SparkConf中直接配置该项，因为driver JVM进程已经启动了。默认1g spark.executor.memory 为每个executor进程分配的内存。默认1g spark.serializer 指定用来进行序列化的类库，包括通过网络传输数据或缓存数据时的序列化。为了速度，推荐使用KryoSerializer。默认JavaSerializer spark.local.dirs Spark用于写中间数据，如RDD Cache，Shuffle，Spill等数据的位置,我们可以配置多个路径（用逗号分隔）到多个磁盘上增加整体IO带宽 加大吞吐量,内存。 增加配置 spark-env.sh export SPARK_LOCAL_DIRS=/itcast/spark-2.0.1/sparktmp/diska,/itcast/spark-2.0.1/sparktmp/diskb,/itcast/spark-2.0.1/sparktmp/diskc,/itcast/spark-2.0.1/sparktmp/diskd,/itcast/spark-2.0.1/sparktmp/diske,/itcast/spark-2.0.1/sparktmp/diskf,/itcast/spark-2.0.1/sparktmp/diskg 增加配置 spark-defaults.conf spark.shuffle.file.buffer 64k spark.reducer.maxSizeInFlight 96m spark.shuffle.memoryFraction 0.3 spark.shuffle.consolidateFiles true 配置hive hive-site.xml增加 <property> <name>spark.shuffle.file.buffer</name> <value>64k</value> </property> <property> <name>spark.reducer.maxSizeInFlight</name> <value>96m</value> </property> <property> <name>spark.shuffle.memoryFraction</name> <value>0.3</value> </property> <property> <name>spark.shuffle.consolidateFiles</name> <value>true</value> </property>
