AJAX用问号而不是hashbang爬行答案

【问题标题】：AJAX Crawling with question mark instead of hashbangAJAX用问号而不是hashbang爬行
【发布时间】：2023-03-20 18:09:01
【问题描述】：

我在哪里：我已经阅读了谷歌关于它的 AJAX 抓取的文档，我在这个网站和其他网站上搜索了一些，但我很困惑，因为它似乎所有问题都解决了同一个问题：AJAX crawing with hashbangs? 我开发了一个应用程序，除其他目的外，让用户使用与 Google 非常相似的 AJAX 搜索器搜索全球位置，但我的应用程序仅使用 AJAX 中的问号，而不是 hashbang。由于兼容性问题，不能将其更改为 hashbang。

我不仅很困惑，因为我找不到其他人使用问号而不是 hashbang，我还想知道是否有任何关于 我的问题的文档：如何当我在我的 AJAX 应用中使用 问号而不是 hashbang 时，让 google bot 抓取我所有的 AJAX 内容。

【问题讨论】：

标签： ajax seo web-crawler hashbang

【解决方案1】：

AJAX crawling schema 是在 URL 结构中使用 hashbang (#!) 为应用程序和网站显式创建的，因为 URL 的片段部分仅存在于客户端；规范中的 URL 重写，即从 #! 到 ?_escaped_fragment_= 旨在解决这个问题。

由于大多数网络已经在以某种方式使用 Javascript，我们 (Google) 需要更好的解决方案，因此我们开始在我们抓取的页面中执行 Javascript 并有效地呈现每个页面，就像普通浏览器一样将。引用我们的博文，Understanding web pages better：

为了解决这个问题，我们决定尝试通过执行 JavaScript 来理解页面。在当前网络的规模上很难做到这一点，但我们认为这是值得的。一段时间以来，我们一直在逐步改进我们如何做到这一点。在过去的几个月里，我们的索引系统一直在渲染大量网页，更像是打开 JavaScript 的普通用户浏览器。

您还可以在 Search Console（以前的网站管理员工具）中使用 Fetch as Google 来查看我们“看到”的内容；在我们标题为Rendering pages with Fetch as Google的帖子中阅读有关该功能的更多信息

在您执行任何其他操作之前，请尝试使用“Google 抓取方式”从您的网站抓取一些网页。您可能根本不需要做任何事情，它实际上可能开箱即用。好消息是，渲染页面的不仅仅是 Google！

【讨论】：

好的，这并不是我想要的答案，但它把我推向了正确的方向。我更改了 POST 方法，以便将其转换为 GET，现在它可以使用了。现在，问题是，我如何让谷歌在每次用户寻找位置时查看我的网站。例如：www.mywebpage.com/search?city=HERECOMESTHEQUERY 我如何让谷歌寻找价值“城市”的参数，以便它抓取结果？感谢您的宝贵时间。
@Craphter 搜索结果和其他自动生成的页面并不是我们想要的索引。请参阅support.google.com/webmasters/answer/35769 了解更多信息（搜索“使用 robots.txt 防止抓取搜索结果页面”）。暂时忽略这一点，您想以某种方式生成站点地图 (xml)，然后将其放入您的 robots.txt 文件中，或在 Search Console 中提交。
嘿@methode，非常感谢您抽出宝贵的时间。现在，我不太清楚该怎么做，这是我的情况：我有超过 5000 个可能的搜索结果，假设它们是世界各地的地方。现在，您是否建议我们将 5k 结果包含在我们的站点地图中？因为这正是我们担心的。如果这不是一个选项，那么我们是否可以将我们所有的搜索结果输入到一个特殊的网页中并将其上传到我们的服务器以便它被编入索引，或者这会导致惩罚吗？很遗憾，我们不能索引这么多有用的内容，用户会真正搜索和喜欢。
是的，我的站点地图将帮助我们发现内容并可能将其编入索引。此外，我们不会轻易惩罚 :) 最坏的情况是 url 不会有太多可见性。
好的，我们同意不同意。