Pig Script 上的多个 AWS 账户

Question

我想从 EMR 的 PIG 脚本访问我拥有 aws_access_key 和 aws_secret_key 的一个帐户的 s3 存储桶，并且我想将结果文件存储在另一个 aws 帐户上。 有什么办法可以做到这一点吗？我已经尝试了带有凭据的 s3n 路径，但它不起作用。

谢谢

Answer 1

我通过更改 PigStorage 函数解决了这个问题，将结果存储在 hdfs 中，并在 cleanUpWithSucess 方法上调用了一个方法，该方法使用凭据将 hdfs 文件上传到 s3。这样我就可以在PigStorageFunction用来存储的时候把凭证传给它，当然我也改了PigStorage的构造函数来接收这些参数。