轮询多个 Twitter 帐户以获得推文印象和喜欢

Question

我目前正在研究一个用例（用 Java、Spring 开发），我没有很多。我可以在配置/计划时发布数据（推文）的 Twitter 帐户（帐户数量可以达到数千个）。

我已经实现了将数据发布到 twitter，但我很困惑如何从各种 twitter 帐户中提取印象/转发和喜欢的推文。

一种解决方案是定期轮询所有帐户，但在这种情况下，我不会在推文上获得任何点赞，因为我使用的是用户并提到了带有“since_id”参数的时间线 API，而这些 API 并没有在我的旧推文上返回 no of likes，因为它总是获取最新的推文和转发。

另一种选择是使用流式 API，我将为我拥有的每个 Twitter 帐户打开一个流，但这对我来说似乎不可行，因为我的编号很大。我的 twitter 帐户，我怀疑我的 Java 应用程序可以处理这么多不。的流。

有人可以建议我如何解决这个问题，非常感谢任何帮助。

Answer 1

IT 似乎你的问题是由于规模而不是设计，声明“我怀疑我的 Java 应用程序可以处理这么多的流。”

让我们换个方向。

是时候进入“大数据”的世界了。 Apache kafa,Pig,Hive,Yarn,Strom,HBase,Hadoop etc.list 铺天盖地。

1. Apache Spark - 大规模数据处理，支持 MapReduce、内存处理、流处理、图形处理等概念。
2. Storm 是由 Twitter 创建的，可以说是 Apache Storm。
3. Apache Kafka 它提供了以容错方式收集流、记录和缓冲它们的代理。
4. Hadoop 用于存储数据。 http://www.itworld.com/article/2827285/big-data/what-hadoop-can--and-can-t-do.html

设计愉快。