【发布时间】:2014-06-03 03:00:30
【问题描述】:
我最近将我的一个网站 (gezondbenjij.nl) 移到了一个新的托管帐户。这产生了一个新的 IP 地址。
不幸的是,自从搬迁以来,Facebook 抓取工具无法在新 IP 地址上找到我的网站。它仍然使用旧IP。所有 DNS 设置都是正确的,每个浏览器/客户端/工具都能在 178.22.57.204 (gezondbenjij.nl) 找到正确的站点。除了 Facebook .. facebook 刮板登陆我的旧主机帐户。所以我猜他们的主机文件或 DNS 缓存仍然保存旧数据。即使在几周之后。
我在 gezondbenjij.com --> gezondbenjij.nl 设置了一个域别名,并将旧主机帐户重定向到这个 .com 域。通过这种方式,facebook 通过旁路被重定向到正确的站点,但仍然无法抓取该站点。因此,我尝试在 facebook 上分享的 URL 目前不会生成 sn-ps。
有什么方法可以强制(或请求)Facebook 更新其 DNS 缓存?我使用了 fb URL linter,但它不能解决问题。它只会重置 facebook 的 html 缓存,而不是 DNS 缓存..
【问题讨论】:
-
您分享的是什么页面,调试工具显示的是什么?你确定 DNS 是这里的错误,不是因为你的标签有循环重定向或类似的东西吗?
-
是的,我很确定这是一个 DNS 问题。我在调试工具中尝试来自 gezondbenjij.nl 的任何页面,我得到了 206 响应或 404 响应(对于移动后创建的帖子)。自从我将旧主机帐户(如此旧的 ip)中的 htaccess 重定向到一个新创建的域作为现有域的别名以来,我收到了 200 个响应,但出现了爬网错误。我仍然很坚持这一点:(
-
你解决了吗?同样的问题也发生在我身上。该页面在新主机上使用了一个月,但仍然存在刮板问题。
标签: facebook facebook-graph-api dns ip scraper