通过 hadoop 访问 s3n url 并指向 riak cs

【问题标题】：Access s3n urls via hadoop and point to riak cs通过 hadoop 访问 s3n url 并指向 riak cs
【发布时间】：2014-07-30 21:34:37
【问题描述】：

我在 hadoop 中使用 s3 和 s3n url 为亚马逊 emr 编写了代码。

例如猪：

X = LOAD("s3n://testbucket/testfile.txt") using PigStorage();

我想继续使用代码并改用 Riak-CS 而不是 amazon s3。

即我希望 s3 url 指向我的 Riak CS 集群，我将在其中设置存储桶和文件。

Hadoop 配置中是否有通过代理或特定主机名路由 s3n url 的选项。

【问题讨论】：

标签： hadoop amazon-s3 riak-cs

【解决方案1】：

设置 jets3t.properties 参见 Riak CS 端点。本地设置示例在这里：http://qiita.com/kuenishi/items/71b3cda9bbd1a0bc4f9e#2-3

> cat conf/jets3t.properties
s3service.https-only=false
#s3service.s3-endpoint=localhost
#s3service.s3-endpoint-http-port=8080
#s3service.s3-endpoint-https-port=8080
#s3service.disable-dns-buckets=true

httpclient.proxy-autodetect=false
httpclient.proxy-host=localhost
httpclient.proxy-port=8080
httpclient.retry-max=11

【讨论】：

请在您的答案中包含来自外部链接的代码，以便如果链接停止工作，您的答案仍然可以提供帮助。