pyspark dataframe.write() 中的 batchsize 选项不起作用答案

【问题标题】：batchsize option in pyspark dataframe.write() is not workingpyspark dataframe.write() 中的 batchsize 选项不起作用
【发布时间】：2019-11-11 09:56:25
【问题描述】：

我正在尝试将数据从 pyspark 写入 postgresql DB。我使用了批处理大小 1000，pyspark 数据框中的总数据为 10000。但是在 postgresql 中进行的插入不是分批的。它正在一个一个地插入数据。以下代码用于写入数据库

        df.write.
            option('batchsize',1000).jdbc(
            url=database_connection.url,
            table=data_table,
            mode="append",
            properties=database_connection.properties
        )

请提出一些解决方案。此选项适用于 POSTGRESQL Db 吗？

【问题讨论】：

标签： postgresql pyspark batchsize

【解决方案1】：

根据您使用的资源（核心），它会将数据加载与批量加载并行。批处理在从 HDFS 表中获取时在内部进行处理，但在将其写入表时不进行处理。这个link 可能会帮助你理解这一点。

【讨论】：