Facebook 刮板返回错误页面

Question

当我在 Firefox 中输入我的网站页面的 URL 时，我会在浏览器中看到正确的页面（页面 A）。在 Chrome/Safari/Opera 中也是如此。当我在 Ubuntu 中使用 wget 时，我得到页面 A。当我使用 Fetch as Google 时，它​​会抓取页面 A。

那么，为什么 Facebook 会显示一个完全不同的页面（页面 B）？当我使用 Facebook 共享调试器时，它显示了正确的 Fetched URL（页面 B），但显示了错误的规范 URL（页面 B）。但是，页面 A 的规范 URL 是正确的。当点击“查看我们的抓取工具为您的 URL 看到的确切内容”时，我看到了页面 B。它返回响应代码 200，因此似乎没有重定向。 什么会影响 Facebook scraper 而不会影响其他机器人/浏览器？

两周前我更新了 Wordpress，所以它一定是罪魁祸首。但是我很难理解在哪里以及要解决什么问题。如果您需要示例，我们所有的食谱页面（如 this one）都会在 Facebook 中重定向到我们的 recipe search 页面。但其他页面（如博客文章）会被正确解析。

Answer 1

感谢您的反馈。这实际上是重定向中的斜杠错误。好像 Facebook 爬虫会自动在末尾添加一个斜线。