数据框无法在 S3 上写入

Question

我正在从现有的 hive 表创建一个数据框。表按日期和站点列进行分区。现在，当我尝试用前一天的数据进行一些计算后覆盖同一个表中的数据时。它已成功加载。

但是当我尝试在 S3 存储桶中写入最终数据帧时。我收到错误提示找不到文件。现在它提到的文件是前一天的文件，现在已被覆盖。

如果我先写数据帧然后覆盖表，那么它运行良好。

在S3位置写入，和表分区文件有什么关系？

下面是错误和代码。

java.io.FileNotFoundException：没有这样的文件或目录：s3://bucket_1/DM/web_fact_tbl/local_dt=2018-05-10/site_name=ABC/part-00000-882a6e29-eb6a-477c-8b88-6fe853956674 .c000

fact_tbl = spark.table('db.web_fact_tbl')
fact_lkp = fact_tbl.filter(fact_tbl['local_dt']=='2018-05-10')
fact_join = fact_lkp.alias('a').join(fact_tbl.alias('b'),(col('a.id') == col('b.id')),"inner").select('a.*')
fact_final = fact_join.union(fact_tbl)
fact_final.coalesce(2).createOrReplaceTempView('cwf')
spark.sql('INSERT OVERWRITE TABLE dm.web_fact_tbl PARTITION (local_dt, site_name) \
                           SELECT * FROM cwf')
fact_final.write.csv('s3://bucket_1/yahoo')

Answer 1

在最后一行之前fact_final 只是一个仅包含定义的“惰性”数据框对象。它不包含任何数据。但它有指向确切数据文件的指针，数据实际存储在其中。

当您尝试执行实际操作时（无论是写入 S3，还是执行像 fact_final.count() 这样的查询），您都会收到上述错误。看起来分区 local_dt=2018-05-10 不再存在（位于它后面的文件/文件夹不存在）。

您可以在最终写入之前再次尝试重新初始化数据帧（这是另一个惰性操作 - 所有工作都在您在 S3 上编写时完成）。