如何在 aws cloudfront 中更新/替换 robots.txt 文件

Question

我有一个网站www.example.com。所以当我访问www.example.com/robots.txt 之类的 robots.txt 文件时，它会显示由 SEO 团队创建/准备的多行文本。

所以有一个子域assets.example.com 指向 CloudFront。当我通过 CloudFront URL（如 https://assets.example.com/robtos.txt）访问 robots.txt 文件时，它会在浏览器中显示以下结果。

User-agent: *
Disallow: / 

因此存在更新 AWS CloudFront 中的 robots.txt 文件内容的请求，因此 https://assets.example.com/robtos.txt 和 https://www.example.com/robtos.txt 应该显示相同的文本。我没有找到 robots.txt 放置在云端的任何地方。

是否可以在云端更新 robots.txt？ CloudFront 在这里有什么作用吗？或者我们需要更新 assets.example.com 的 robots.txt 与为 example.com 配置的相同？

请帮帮我。我在这里很困惑。

Answer 1

您可以指向 CloudFront 分配 (assets.example.com)，然后使用域名 www.example.com 添加新的源，然后使用路径模式 robots.txt 添加新的缓存行为并将源添加到其中。

此设置将请求发送到 assets.example.com/robots.txt 并将其转发到 www.example.com/robots.txt。这样，您可以删除重复项。

Answer 2

您可以通过选项失效来使缓存失效。

您可以执行以下操作：

1. 直接将构建文件夹部署到 S3 存储桶。
2. 不需要缓存robots.txt文件
3. 每当您将构建部署或上传到 S3 时，请执行以下步骤
4. 转到云端
5. 使对象失效
6. 创建条目/*