【发布时间】：2020-05-25 14:42:32
【问题描述】：
我对 Firebase 托管比较陌生。我有一个正在开发的网络应用程序，并且我有 2 个 Firebase 项目设置：1 个用于我的生产环境，1 个用于我的暂存环境。
理想情况下，我希望我的暂存环境不会被 Google 索引。
有人知道 Google 是否默认抓取 Firebase 托管网站？如果是这样，防止这种情况的最佳方法是添加一个不允许所有的 robots.txt？
任何信息将不胜感激。
【问题讨论】：
【发布时间】：2020-05-25 14:42:32
【问题描述】：
我认为 Google 对待托管在 Firebase 上的网络应用与托管在其他任何地方的网络应用没有任何不同；谷歌会自动索引它可以找到的所有内容。 Officially，谷歌通过查找链接和站点地图来查找网站。因此，如果您的暂存环境未链接到任何地方，并且您不直接向 Google 提交站点地图，那么理论上您不应该被编入索引。
但是，我不会指望你没有把链接放在那里。将来某个时候，链接可能会出于某种原因在线。
您可以使用以下值将 robots.txt 添加到您的临时站点：
User-agent: *
Disallow: /
但根据我的经验，更好的解决方案是让您的临时站点在没有用户名/密码的情况下无法访问。这样一来，谷歌的机器人就无法索引登录表单以外的任何内容。如果人们确实找到了您的暂存 URL，他们将无法看到那里发生了什么。
大多数人实际上都在努力获得很高的索引，但这并不是那么简单。由于您的目标不是排名靠前，因此应该很容易。这就像试图不赢得一场比赛。
【讨论】：
-
如果 Google 从未找到网站的 URL，它如何知道开始抓取它？抓取指令必须来自某个地方，要么是链接，要么是网站管理员的请求。
-
@DougStevenson 好点，这就是为什么我认为排名不佳应该像在赌场输掉一样容易。但是链接可能会以某种方式结束，因此拥有用户名/密码保护是有意义的，否则您只是通过默默无闻来押注安全性。此外，该域必须在某个地方注册，因此可以知道 x.tld 中存在某些内容，因为它已注册。
-
但如果 Google 永远找不到该 URL，它的排名会如何？您是否认为 Google 只是猜测要抓取的网址？这似乎没有必要，而且可能是在浪费时间。
-
如果谷歌找不到指向它的链接或站点地图，我认为它不会对网站进行排名。但是仅仅假设谷歌永远不会偶然发现一个特定的链接并不是一个非常可靠的计划。想想 Google Dorking，即使没有人要求，很多敏感信息也会被编入索引。所以不妨对你不想暴露给公众的东西设置密码保护，不是吗？