将 DataFrame 转换为 DynamicFrame 时出现问题答案

【问题标题】：Problem when converting DataFrame to DynamicFrame将 DataFrame 转换为 DynamicFrame 时出现问题
【发布时间】：2021-11-25 11:47:16
【问题描述】：

我有一个将 DataFrame 转换为 DynamicFrame 的代码，在尝试执行 return 语句时出现这个奇怪的错误，有什么线索吗？

错误： {AttributeError}'str' object has no attribute '_jvm'

# record is DynamicFrame
def extractCustomFields(record, ctx):
    rec = record.toDF()
    rec = rec.withColumn("lastname", rec["customfields"][0].value)
    rec.show()
return DynamicFrame.fromDF(rec, ctx, "recordTransform")

【问题讨论】：

fromDF(dataframe, glue_ctx, name) 将GlueContext 作为第二个参数，而您正在传递str。您的GlueContext 是否已正确初始化？请看：fromDf

标签： pyspark apache-spark-sql aws-glue

【解决方案1】：

fromDF() 期望 GlueContext 作为第二个参数。你需要通过它：

return DynamicFrame.fromDF(rec, ctx, "recordTransform")

【讨论】：

是的，我传递的是 transformationContext 而不是 GlueContext