如何通过大量 Twitter 数据流式传输？答案

【问题标题】：How to Stream Through Large Amounts of Twitter Data?如何通过大量 Twitter 数据流式传输？
【发布时间】：2013-09-18 18:41:08
【问题描述】：

我将从事一个项目，该项目需要实时输出用户在 Twitter 上带有哈希标签的推文以及他们的推文。类似于 MTV 的 Twitter Tracker：http://vma-twittertracker.mtv.com/live/#buzz。

这个网站让我感兴趣的是，他们如何能够不断地向 Twitter 进行 API 调用而不违反请求限制？

如果有人能指导我以最有效的方式完成此任务，我将不胜感激。根据我目前所做的研究，我认为我需要使用 Twitter 的 Streaming API。

由于有可能输出到我的页面的推文数量可能达到数千条（加载了 AJAX）以及转发/收藏数量的统计信息，那么在我的 .NET 站点中，最具可扩展性的方法是什么？任何示例或指导将不胜感激。

【问题讨论】：

【解决方案1】：

查看Linq2Twitter。它是 Twitter API 的一个很好的包装器，并提供了两种可以帮助您的机制：

我已经多次使用它来搜索公共提要并且迄今为止没有任何问题。我认为搜索功能是不要求太多的关键。祝你好运！

【讨论】：

【解决方案2】：

您可以查看 Storm 框架。以下是一些链接供进一步参考：-

【讨论】：

【解决方案3】：

感谢您的所有回复。

看起来像显示大量 Twitter 统计数据/数据的网站使用 third party approved providers 可以直接访问 Twitter's Firehose API。

我已设法与一家获准的提供商取得联系，向我们提供所需的数据源（而且价格不便宜！）。

【讨论】：