【发布时间】：2018-05-07 23:15:54
【问题描述】：
如果另一个正在运行的 Spark JOB 进程删除了 .hiveStaging 目录会怎样？
- 会不会导致JOB失败
- 数据丢失但作业成功
- 不是数据丢失和作业成功
或者，是否有任何 HDFS 锁会导致目录未被删除
谢谢
【问题讨论】：
标签： apache-spark hive hadoop2
【发布时间】：2018-05-07 23:15:54
【问题描述】：
Hive 在运行 Hive 客户端的机器和默认的 HDFS 实例上都使用临时文件夹。这些文件夹用于存储每个查询的临时/中间数据集，通常在查询完成时由 hive 客户端清理。
一旦查询执行完成，数据就会移动到输出 HDFS 位置。
当您删除.hiveStaging 目录时，您的配置单元查询/驱动程序代码将失败并显示java.io.IOException。
【讨论】：