【问题标题】:format AWS glue spark dataframe output格式化 AWS 胶水火花数据帧输出
【发布时间】:2021-07-26 00:18:16
【问题描述】:

我正在尝试在日志上打印我的 DataFrame:

datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "dev", table_name = "sellout_data_cw01_15_csv", transformation_ctx = "datasource0")
....
dataframe = datasource0.toDF()
dataframe.show(10)

但是输出都搞砸了。如何正确格式化它,就像普通 python 中的熊猫表一样?

【问题讨论】:

  • 你可以试试 dataframe.show(n=10, truncate=False, vertical=True) 吗?
  • 无法正常工作@PrabhakarReddy

标签: python amazon-web-services apache-spark pyspark aws-glue


【解决方案1】:

这是胶水问题。您需要进入作业运行的 CloudWatch 日志,以查看它的格式。

【讨论】:

    猜你喜欢
    • 2021-01-01
    • 1970-01-01
    • 2021-01-28
    • 1970-01-01
    • 2020-03-19
    • 2021-05-02
    • 1970-01-01
    • 2023-03-20
    • 1970-01-01
    相关资源
    最近更新 更多