使用 Rails 跟踪和抓取推文中的链接

Question

我目前正在通过我的 rails 应用程序解析 twitter 提要，并想知道如何跟踪推文中的链接并抓取外部内容（例如，如果推文包含指向 TechCrunch 上一篇文章的链接，请遵循链接到文章并抓取文章的标题和正文内容）。 iPad 版 Flipboard 就是一个很好的例子。

我熟悉使用 Nokogirl / Mechanize 进行屏幕抓取，但试图弄清楚如何以一种无论推文中的链接链接到何处（无论是 TechCrunch 还是 Flickr等...）。

任何想法/见解将不胜感激！

Answer 1

许多主要的内容提供商都提供oembed 端点。看看oembed_links gem。来自自述文件：

它允许您轻松解析文本和 查询配置的提供程序以在链接上嵌入信息 正文里面。用于配置的示例配置文件 已包含库 (oembed_links_example.yml)，尽管您 也可以通过编程方式配置库（参见 rdocs）。

如果您将 oembed_links 与 http://oohembed.com/ 结合使用，您将有数十个内容提供商为您处理。您可以轻松编写自定义提供程序来处理其余部分。