【问题标题】:How to force STORE (overwrite) to HDFS in Pig?如何在 Pig 中强制 STORE(覆盖)到 HDFS?
【发布时间】:2012-06-22 01:11:03
【问题描述】:

在开发使用 STORE 命令的 Pig 脚本时,我必须删除每次运行的输出目录,否则脚本会停止并提供:

2012-06-19 19:22:49,680 [main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 6000: Output Location Validation Failed for: 'hdfs://[server]/user/[user]/foo/bar More info to follow:
Output directory hdfs://[server]/user/[user]/foo/bar already exists

所以我正在寻找一种自动删除目录的 in-Pig 解决方案,如果目录在调用时不存在,也不会阻塞。

在 Pig Latin Reference 中,我找到了 shell 命令调用程序 fs。不幸的是,只要任何事情产生错误,Pig 脚本就会中断。所以我不能用

fs -rmr foo/bar

(即递归删除)因为如果目录不存在它会中断。有一瞬间我觉得我可以用

fs -test -e foo/bar

这是一个测试,不应该打破,或者我想。然而,Pig 再次将test 在不存在目录上的返回代码解释为失败代码并中断。

Pig 项目有一个JIRA ticket 解决了我的问题,并为 STORE 命令建议了一个可选参数 OVERWRITE 或 FORCE_WRITE。反正我用的是Pig 0.8.1,没有这个参数。

【问题讨论】:

    标签: apache-pig hdfs


    【解决方案1】:

    我终于在grokbase 上找到了解决方案。由于找到解决方案花费了太长时间,我将在此处复制并添加它。

    假设您想使用语句存储输出

    STORE Relation INTO 'foo/bar';
    

    然后,为了删除目录,你可以在脚本的开头调用

    rmf foo/bar
    

    没有“;”或需要引号,因为它是一个 shell 命令。

    我现在无法重现它,但在某个时间点我收到一条错误消息(关于丢失文件的消息),我只能假设 rmf 干扰了 map/reduce。所以我建议将调用放在任何关系声明之前。在 SET 之后,REGISTER 和默认值应该没问题。

    例子:

    SET mapred.fairscheduler.pool 'inhouse';
    REGISTER /usr/lib/pig/contrib/piggybank/java/piggybank.jar;
    %default name 'foobar'
    rmf foo/bar
    Rel = LOAD 'something.tsv';
    STORE Rel INTO 'foo/bar';
    

    【讨论】:

    • 虽然这确实不错,但它不是原子的。我宁愿分三步完成:1)存储在 'foobar-tmp' 2)rmf foo/bar 3)mv 'foobar-tmp' 到 foo/bar
    • @MiguelPing:在我看来,您的方法应该会遇到我最初的问题,但是对于 foobar-tmp 而不是 foo/bar。先存储也可能产生我暂时归因于 map/reduce 的难以捉摸的错误。如果您的解决方案对您有效,您能否通过示例脚本将其转换为答案并提供您的猪版本号?
    • @valid 我的解决方案与您的类似,我只是添加了一个额外的步骤来保证如果在rmf 和STORE 之间发生某些事情(比如异常),您不会丢失数据. Pig 脚本随时可能失败,因此我的解决方案也不是原子的,但至少您不会冒丢失数据的风险。
    • 非常感谢您!我试图寻找类似的功能,但不知何故,我无法在官方文档中找到它。
    【解决方案2】:

    一旦你使用了 fs 命令,就有很多方法可以做到这一点。对于单个文件,我最终将其添加到脚本的开头:

    -- Delete file (won't work for output, which will be a directory
    -- but will work for a file that gets copied or moved during the
    -- the script.)
    fs -touchz top_100
    rm top_100
    

    对于目录

    -- Delete dir
    fs -rm -r out
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2017-04-06
      • 2017-12-28
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多