【发布时间】:2016-07-03 07:18:01
【问题描述】:
Pig Execution Mode = Local
在这种情况下,我们是否需要设置 pig.temp.dir=/temp 属性,并且这个 /temp 文件夹需要存在于 HDFS 中。
注意:
存储中间结果
Pig 将 MapReduce 作业之间生成的中间数据存储在 HDFS 上的临时位置。在使用之前,此位置必须已经存在于 HDFS 上。可以使用 pig.temp.dir 属性配置此位置。该属性的默认值为“/tmp”,与 Pig 0.7.0 及更早版本中的硬编码位置相同。
按照:http://pig.apache.org/docs/r0.14.0/start.html#req 存储中间结果标题
【问题讨论】:
-
在本地模式执行中,pig 不会使用 MapReduce 作业,因此属性 pig.temp.dir 无关紧要。
-
感谢@donut 的回答明白了你的意思。
标签: hadoop apache-pig hdfs