Save Mode

2023-02-25 15:51:36 浏览数 (2)

Spark SQL对于save操作,提供了不同的save mode。主要用来处理,当目标位置,已经有数据时,应该如何处理。而且save操作并不会执行锁操作,并且不是原子的,因此是有一定风险出现脏数据的。

1.png

代码语言:javascript复制
public class savaMode {

​public static void main(String[] args) {

SparkConf conf = new SparkConf()​.setAppName("SaveModeTest");
​​JavaSparkContext sc = new JavaSparkContext(conf);
​​SQLContext sqlContext = new SQLContext(sc);
DataFrame peopleDF = sqlContext.read().format("json")​​​​.load("hdfs://spark1:9000/people.json");
peopleDF.save("hdfs://spark1:9000/people_savemode_test", "json", SaveMode.Append);
}
}

0 人点赞