AWS Glue 错误“路径不存在”答案

【问题标题】：AWS Glue Error "Path does not exist"AWS Glue 错误“路径不存在”
【发布时间】：2018-02-02 21:12:36
【问题描述】：

每次我尝试运行一些非常简单的作业（将 s3 上的 json 导入 Redshift）时，我都会收到以下错误：

pyspark.sql.utils.AnalysisException: u'Path 不存在： s3://my-temp-glue-dir/f316d46f-eaf3-497a-927b-47ff04462e4a;'

这不是权限问题，因为我还有其他一些（更复杂的连接作业）可靠地工作。真的不确定问题可能是什么 - 任何帮助将不胜感激。

我正在使用 2 个 DPU，但尝试了 5 个。我还尝试使用不同的临时目录。此外，还有数百个文件，其中一些文件非常小（几行），但我不确定这是否相关。

【问题讨论】：

【解决方案1】：

我相信这个错误的原因仅仅是我试图同时加载的文件数量（并且错误本身具有误导性）。禁用书签并使用数据子集后，一切都按预期工作。

【讨论】：

你可以用这个命令检查你的动态帧是否有数据：applymapping1.toDF().show()
我认为是因为bookmarks，当bookmarks 是enabled 时出现类似的错误，并且在我禁用它后它似乎消失了。不知道为什么，希望有人能给我们更多的意见。