为什么 Facebook 不正确地解析 Twitter URL？答案

【问题标题】：Why is Facebook resolving a Twitter URL improperly?为什么 Facebook 不正确地解析 Twitter URL？
【发布时间】：2010-12-03 14:12:14
【问题描述】：

我在挠头

获取一个（新的）推特网址，例如。 [http://twitter.com/#!/NASA]（注意“#!”）

将此链接粘贴到您的 Facebook 墙上或“您在想什么？” Facebook 主页上的输入框。

抓取链接后，查看它解析为哪个链接。这不是正确的推特网址。昨晚它解析为 [http://twitter.com/#!/d3nidhint]，现在它解析为 [http://twitter.com/#!/_hKnbln]（前者解析为 twitter 页面，后者解析为不是）。什么给了？

Facebook 清楚地解析了这个 url 并将其解析为不同的东西。如果它可以做到这一点，它应该将 url 解析为正确的 Twitter 页面。我在网上搜索并提出了建议抓取这些 AJAX url 的 Google 链接，但与这个奇怪的异常无关：[http://code.google.com/web/ajaxcrawling/] 和 [http://googlewebmastercentral。 blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html]

想法？

【问题讨论】：

标签： ajax facebook url twitter web-crawler

【解决方案1】：

发生这种情况的原因是 Twitter 将其永久链接（如 http://twitter.com/RWW）更改为 http://twitter.com/#!/RWW，而 Facebook 爬虫认为这只是对同一页面 http://twitter.com/ 所以你会得到最后缓存的内容。他们将需要更新他们的爬虫来替换 #!出去。如果这是所有进行 ajax 导航的人的标准做法，那就太好了。

ps - 添加空间，因为堆栈溢出认为我所有的链接都是垃圾邮件 - LOL

【讨论】：