在输出文件 AWS Python Glue 作业中添加 .csv 扩展名答案

【问题标题】：Add .csv extension in output file AWS Python Glue Job在输出文件 AWS Python Glue 作业中添加 .csv 扩展名
【发布时间】：2022-01-25 19:41:16
【问题描述】：

我正在尝试从 python 胶水动态框架中保存 csv 文件。下面是我的代码 -

glueContext.write_dynamic_frame.from_options(
frame=splender_df,
connection_type="s3",
connection_options={"path": 's3://splender_df/'},
format="csv",

但它正在创建 20 个文件，并且没有一个文件具有 csv 扩展名 (.csv)。我怎样才能在文件名中只有一个扩展名为 .csv 的文件。

【问题讨论】：

尝试重命名生成的文件。看到这个answer。

标签： python csv pyspark aws-glue

【解决方案1】：

您是否指定了额外的选项，例如分隔符和quote_char？比如下面的例子：

glueContext.write_dynamic_frame.from_options(
frame = datasource1,
connection_type = "s3", 
connection_options = {
    "path": "s3://s3path"
    }, 
format = "csv", 
format_options={
    "quoteChar": -1, 
    "separator": "|"
    }, 
transformation_ctx = "datasink2")

您可以在此link 中找到这些选项。

【讨论】：