Common Crawl S3 存储桶所需的 AWS 凭证

【问题标题】：AWS credentials required for Common Crawl S3 bucketsCommon Crawl S3 存储桶所需的 AWS 凭证
【发布时间】：2020-12-24 20:28:44
【问题描述】：

我正在尝试访问 Common Crawl 新闻 S3 存储桶，但我不断收到“致命错误：无法找到凭据”消息。关于如何解决这个问题的任何建议？据我所知，Common Crawl 甚至不需要凭据？

【问题讨论】：

【解决方案1】：

来自News Dataset Available – Common Crawl：

即使没有 AWS 账户，您也可以通过添加命令行选项 --no-sign-request 来访问数据。

我通过启动一个新的 Amazon EC2 实例（没有 IAM 角色）并发出命令对此进行了测试：

aws s3 ls s3://commoncrawl/crawl-data/CC-NEWS/

它给了我错误：Unable to locate credentials

然后我使用附加参数运行它：

aws s3 ls s3://commoncrawl/crawl-data/CC-NEWS/ --no-sign-request

它成功列出目录。

【讨论】：