Facebook没有抓取我的网站[关闭]

Question

当我将我的网站链接发布到 facebook 时，它现在显示缩略图并显示我的旧网站的标题。我刚刚向我的网站添加了 opengraph 代码，但这无济于事。当我在 facebook 调试中检查我的网站时，它显示响应代码：403。我想这意味着我的网站正在阻止 facebook 机器人，但我不明白这怎么可能。从最近开始一切正常。如果是这种情况，你能告诉我如何解锁它...

http://developers.facebook.com/tools/debug/og/object?q=http%3A%2F%2Fracunovodstvo.com.ba

Answer 1

我做了一些挖掘，发现 Facebook 实际上得到了 403 响应。这是我所做的：

$ nc -l -p 8000 > fbbot-request
listening on [any] 8000 ...

在http://mydebughost:8000 上运行调试器，我得到：

connect to [78.108.54.9] from out-fc245.tfbnw.net [66.220.153.245] 48731
$ cat fbbot-request 
GET / HTTP/1.1
User-Agent: facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Host: mydebughost:8000
Accept: */*
Accept-Encoding: deflate, gzip
Range: bytes=0-40960
Connection: close

现在将 Host 标头更改为 racunovodstvo.com.ba 并执行请求：

$ cat fbbot-request | nc racunovodstvo.com.ba 80 | head
HTTP/1.1 403 Forbidden
Date: Sat, 31 Dec 2011 14:29:48 GMT
Server: Apache
Last-Modified: Mon, 02 May 2011 07:52:14 GMT
ETag: "444007-1094-4dbe62ae"
Accept-Ranges: bytes
Content-Length: 4244
Connection: close
Content-Type: text/html

在网络服务器被Range: bytes=0-40960 标头弄糊涂时，经过更多的挖掘后，它接缝了。