【问题标题】:Is pig.temp.dir property mandatory?pig.temp.dir 属性是强制性的吗?
【发布时间】:2016-07-03 07:18:01
【问题描述】:
Pig Execution Mode = Local 

在这种情况下,我们是否需要设置 pig.temp.dir=/temp 属性,并且这个 /temp 文件夹需要存在于 HDFS 中。

注意:

存储中间结果

Pig 将 MapReduce 作业之间生成的中间数据存储在 HDFS 上的临时位置。在使用之前,此位置必须已经存在于 HDFS 上。可以使用 pig.temp.dir 属性配置此位置。该属性的默认值为“/tmp”,与 Pig 0.7.0 及更早版本中的硬编码位置相同。

按照:http://pig.apache.org/docs/r0.14.0/start.html#req 存储中间结果标题

【问题讨论】:

  • 在本地模式执行中,pig 不会使用 MapReduce 作业,因此属性 pig.temp.dir 无关紧要。
  • 感谢@donut 的回答明白了你的意思。

标签: hadoop apache-pig hdfs


【解决方案1】:

您仍然需要一些临时目录,但它需要存在于您的本地文件系统中。在本地模式下,Pig(和 MapReduce)默认在本地文件系统上执行所有操作。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2020-07-05
    • 2012-04-09
    • 1970-01-01
    • 2016-11-22
    • 2012-05-19
    • 2016-04-19
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多