【发布时间】:2022-07-19 22:30:00
【问题描述】:
有人可以告诉我命令的用途/它是如何工作的吗 data.write.format(“noop”).mode(“overwrite”).save() in Pyspark 3.0?
【问题讨论】:
-
noop = 无操作。该语句将执行但它不会写任何东西。用于在不写入数据的情况下进行测试/基准测试。这是一些参考towardsdatascience.com/…
标签: pyspark
有人可以告诉我命令的用途/它是如何工作的吗 data.write.format(“noop”).mode(“overwrite”).save() in Pyspark 3.0?
【问题讨论】:
标签: pyspark
当您需要模拟没有任何数据的写入时,“noop”命令很有用,例如,假设您想检查作业的性能,但是您只想检查保存到存储的效果而不正确地做。
【讨论】: