[Spark] pyspark insertInto 去重插入数据表

时间:2021-02-23 14:14:20   收藏:0   阅读:0

pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效

spark.conf.set("hive.exec.dynamic.partition.mode", "constrict")
db_df.repartition(1).write.mode("overwrite").insertInto("TABLE")

所以会导致TABLE内数据有重复的现象。

如何去重插入数据表?

在insertInto("TABLE", True) 加上True参数即可,表示的同样是"isOverwrite".

评论(0
© 2014 mamicode.com 版权所有 京ICP备13008772号-2  联系我们:gaon5@hotmail.com
迷上了代码!