【问题标题】:Use of noop format in Pyspark dataframe write在 Pyspark 数据帧写入中使用 noop 格式
【发布时间】:2022-07-19 22:30:00
【问题描述】:

有人可以告诉我命令的用途/它是如何工作的吗 data.write.format(“noop”).mode(“overwrite”).save() in Pyspark 3.0?

【问题讨论】:

  • noop = 无操作。该语句将执行但它不会写任何东西。用于在不写入数据的情况下进行测试/基准测试。这是一些参考towardsdatascience.com/…

标签: pyspark


【解决方案1】:

当您需要模拟没有任何数据的写入时,“noop”命令很有用,例如,假设您想检查作业的性能,但是您只想检查保存到存储的效果而不正确地做。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-10-06
    • 2018-06-24
    • 2019-10-31
    • 2020-11-26
    • 2017-08-20
    • 2020-01-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多