【发布时间】：2019-10-24 06:17:49
【问题描述】：
我在 6 个月前开始构建我的网站。
- 从我开始到现在已经6个月了。 Googlebot 一直在抓取我网站上不存在的页面。 Googlebot 会随机生成这些链接。他们每天访问成百上千个。
- 我已验证它是 googlebot。
- 从第一天开始，我就给那些不存在的页面留下了 404 标题。
- 6 个月后，事情并没有改变。 Googlebot 仍会以相同的速度抓取不存在的随机生成的页面。
链接不存在页面的结构是mydomain/installa/{random-string}
示例：
mydomain/installa/jfjdk-uru-gy-kfjurru
mydomain/installa/jfj-uru-wed-iehf72
mydomain/installa/dsds-rw3-wwewed-2332jh
请注意，我不在我的网站上使用 /installa/ 目录，无论是在后端文件夹中还是在网站 url 上。
问题是当我在我的网站上发布实际帖子时。该帖子将永远被 googlebot 发现编入索引。
如果我手动将我的帖子提交到谷歌控制台以获取索引，那是一个不同的主题，我的页面被索引了。但我怀疑我所有的问题都属于我所描述的上述问题。
任何人都可以帮助我或指出我正在发生的事情的正确方向吗？我的网站上是否有可能触发 /installa/ 的问题？
是否有任何 Wordpress 插件可用于跟踪 googlebot 如何访问我的网站？
请帮我解决这个问题，这个问题目前似乎影响了我的网站排名。
谢谢
【问题讨论】：
-
由于这是一个 SEO 问题，您可能想在这里问：webmasters.stackexchange.com
标签： wordpress googlebot google-crawlers