获取网站描述

Question

我正在尝试从提供的 url 中提取各种数据，包括使用以下内容的描述元信息：-

$tags = get_meta_tags($_POST['url']);
echo $tags['description'];

这适用于某些网站，但并非全部。例如，如果我尝试http://twitter.com，我什么也得不到，但谷歌搜索（或在 facebook 中输入 url）显示以下文本：-

立即连接到对您来说最重要的事情。关注您的朋友、专家、喜爱的名人和突发新闻。

该文本在 twitter 页面的源代码中不存在 - 这是从哪里来的，我该如何获取它？同样，我的代码对于http://bbc.com 也没有返回任何内容。

Answer 1

我认为您的托管服务器的 IP 不在任何 GeoIP 数据库中。

我只是将这段代码拼凑在一起：

function get_meta_tags_from_path($path)
{
    $tags = array();
    $source = file_get_contents($path);
    $count = preg_match_all(
        "|<meta[^>]+name=\"([^\"]*)\"[^>]" . "+content=\"([^\"]*)|i",
        $source, $matches, PREG_PATTERN_ORDER);
    for($i = 0; $i < $count; $i++)
        $tags[$matches[1][$i]] = $matches[2][$i];
    return $tags;
}

$tags = get_meta_tags_from_path('https://twitter.com/'));
$description = $tags['description'];

它工作正常，就像demonstrated here。 HOWEVER，您还可以看到它显示了 Dutch 元描述，因为服务器位于荷兰，在已知的荷兰 IP 上。如果 Twitter 无法通过Accept-language 标签或 GeoIP 确定访问者的可能语言环境，那么 Twitter 很可能不会尝试提供本地化内容。除非你使用 cURL 来发起一个请求，其中包含正确的 Accept 标头来模拟实际的浏览器，否则你在主机上是相当不走运的。

Answer 2

对不起，你问题的前提是错误的：

该文本在推特页面的来源中不存在

确实如此：

<meta name="description" content="Instantly connect to what&#39;s most important to you. Follow your friends, experts, favorite celebrities, and breaking news.">`

-- twitter.com

还有var_dump(get_meta_tags("http://twitter.com"));：

array(4) {
  ["description"]=>
  string(125) "Instantly connect to what's most important to you. Follow your friends, experts, favorite celebrities, and breaking news."
  ["msapplication-tileimage"]=>
  string(42) "//abs.twimg.com/favicons/win8-tile-144.png"
  ["msapplication-tilecolor"]=>
  string(7) "#00aced"
  ["swift-page-name"]=>
  string(5) "front"
}