如何使用 AJAX 通过 Google 测试我的可抓取性？

Question

我已经创建了我的网站

site.com/#!/page/var1/ans1/var2/ans2

映射到

site.com/pages/page.php?var1=ans1&var2=ans2

使用 Javascript。我也做到了

site.com?_escaped_fragment_=/page/var1/ans1/var2/ans2

映射到

site.com/pages/page.php?var1=ans1&var2=ans2

使用 PHP，因此我的网站显然可以被 Google 抓取。我已经用 Google Fetch 对其进行了测试，它似乎可以工作。但是，我尝试测试我的网站的所有其他非 Google 蜘蛛都不能与使用 _escaped_fragment_ 的 google 技术一起使用。我想确保当 Google 蜘蛛进入 site.com 时，它会看到 x，去 site.com?_escaped_fragment_=/page 并正确抓取它。有什么方法可以确保它抓取我网站上的所有链接并抓取它们？我测试过的测试蜘蛛站点只列出了其中包含域完整路径的链接——但这是否意味着对于我网站上的所有链接，我必须将整个域放在它们之前？那会毁了我的ajax。

Answer 1

对于“非谷歌蜘蛛”；在 Bing 网站管理员工具中，在抓取选项卡 - 子选项卡抓取设置 - 页面底部有一个复选框，询问“站点支持 AJAX 可抓取 URL” - 包含 #! .如果您还没有检查它，请尝试设置它并查看 Bing 是否会抓取您漂亮的 URL。这可能也有助于 Slurp 抓取网站（??）

至于“我可以确保它抓取我网站上的所有链接并抓取它们的任何方式”，只需 google site:nameOfYoursite.com 以及您网站的 Google 索引中的所有 URL将出现在 SERP 上。