我有一个 URL 列表，并且正在尝试收集它们的“描述”。通过描述，我的意思是出现了什么，例如，如果你用谷歌搜索了链接。例如，http://stackoverflow.com">Google: http://stackoverflow.com 显示描述为
独立于语言的协作 编辑的问答网站 程序员。问题与解答 由用户投票和标签显示。
这是我试图为我拥有的 URL 积累的数据。
我尝试解析 URL 的元描述，但大多数都缺少元描述（但谷歌和其他搜索引擎设法以某种方式获得描述）。
有什么想法吗？我应该只是“谷歌”每个链接并抓取数据吗？我有一种感觉，Google 不喜欢这样......
谢谢大家。
【问题讨论】：
如果/当它们缺少描述元标记时，不同的搜索引擎有不同的算法来从页面中获取描述。有些人会忽略标签，即使它在那里。
如果您想要 Google 的描述，最准确的获取方法是抓取它。否则，您可以编写自己的代码或在网络上查看代码。
【讨论】：
这些被称为 sn-ps。
Google 使用专有（可能还有 patented）方法来获取这些信息，因此没有简单的答案。
正如您所建议的，他们将使用元描述信息（如果存在）。 (How to set the meta-information to help Google.)
他们还将尊重页面作者提出的不包括 sn-ps 的请求。 (How to prevent Google from displaying snippets) 你或许也应该尊重这一点（当然还有 robots.txt。）
您可能对现有的自动摘要包有一些运气，例如OTS。
【讨论】：
您可能需要查看 AboutUs.org（即http://www.aboutus.org/StackOverflow.com）。 但是，该网站几乎不可能有关于我们的页面而没有元描述。
【讨论】：
一些可能解释谷歌如何做到这一点的信息：
【讨论】：
我不熟悉Google APIs，但也许有官方的方法可以获取此类信息。
【讨论】：
有趣。有些来源比其他来源更好。
对于“audiotuts.com”google 的描述比 AboutUs.com 更糟糕。
谷歌
11 月 18 日一般由 Joel Falconer · 1. 最近一位AUDIOTUTS的读者问我创作过程。虽然这 是一个不能做成的话题 ...
AboutUs.com：
AUDIOTUTS 是一个博客/教程网站 音乐家、制作人和音频 瘾君子！它是该网站的姐妹网站 流行的 PSDTUTS、VECTORTUTS 和 NETTUTS。
我讨厌这样的问题...它们应该是微不足道的，但事实并非如此！
【讨论】：
如果你能假设英文内容，你可以先找Meta Description，如果不行，你可以找前两三个类似句子的词序列。
我开发的一个产品会查找第一个 P 或 DIV，其中包含多个由句点分隔的 > n 个“单词”序列。它将使用两个或三个类似句子的序列，最多 x 个单词，作为摘要段落。它不是 100% 准确，但对于一般情况来说已经足够了。字数调整了几次，去掉了导航元素之类的东西。
【讨论】：