谷歌如何知道使用 GatsbyJS 时要抓取哪些页面 [关闭]答案

【问题标题】：How does google know what pages to crawl when using GatsbyJS [closed]谷歌如何知道使用 GatsbyJS 时要抓取哪些页面 [关闭]
【发布时间】：2019-01-24 23:38:56
【问题描述】：

请原谅我在这里缺乏知识，我对使用 GatsbyJS 还是很陌生。

在本地构建时，如果我点击 404 页面，我会得到可用页面的列表。（见附件）

只是想知道谷歌是否将所有这些页面都编入索引？

【问题讨论】：

我投票结束这个问题，因为它是关于 SEO，而不是编程。可以在Webmasters.SE 上询问 SEO 问题

标签： reactjs seo gatsby google-crawlers

【解决方案1】：

如果 Google 可以看到指向它们的链接，并且您在 robots.txt 中没有影响它们的 noindex 提示或 Disallow 规则，它很可能会这样做。最好的办法是使用 gatsby-plugin-sitemap 生成 sitemap.xml 。您可以提交给 google 和其他人。

【讨论】：

感谢传奇！！！