如何让 Googlebot 抓取从 AJAX 加载的内容，但阻止它索引 URL 命中？

【问题标题】：How do I let Googlebot crawl content loaded from AJAX but prevent it from indexing the URL hit?如何让 Googlebot 抓取从 AJAX 加载的内容，但阻止它索引 URL 命中？
【发布时间】：2019-07-13 18:43:02
【问题描述】：

我的网站上有一组页面，其中我在页面加载时发布“主要内容”，在页面加载后通过 AJAX 命中发布“相关内容”。我想要做的是确保 Googlebot 可以通过 AJAX 获取加载的内容，并按照其中的链接，但不索引请求 URL。

如果我禁止 robots.txt 中的网址，Googlebot 将不会抓取内容。如果我向其中添加 X-Robots-tag “noindex”，整个页面将变为未编入索引，这不是我想要的。有什么解决办法吗？

【问题讨论】：

标签： ajax seo googlebot

【解决方案1】：

你不能让爬虫等待；您可以做的是预渲染 AJAX 请求，因此内容将首先被渲染和索引。在此处阅读更多信息：https://groups.google.com/a/chromium.org/forum/#!forum/prerender

注意：它会使页面加载速度变慢。您要做的基本上是完全停止页面加载，呈现您希望呈现的特定请求，然后才在浏览器上加载内容。

这也是为什么我必须说：在前端使用 AJAX 来完成这项任务（相关文章）是错误的。您应该尝试在服务器端获取相关文章，而不是通过 AJAX 请求，而是通过数据库查询 - 取决于您的 CMS。

【讨论】：