从 twitter python 检索数据

Question

我正在尝试构建一个应用程序，用户可以在其中连接到我的应用程序，输入关键字以在 twitter 上进行搜索，然后将结果存储在数据库中。从用户输入关键字的那一刻起，我想跟踪 Twitter 上所说的内容。这些结果将被进一步分析，并将一些统计数据呈现给用户。 到目前为止，我已经使用 tweppy 和 twitter 流 api 来获取推文。但我意识到我不能有多个打开的流连接（用于并行搜索多个关键字）。
我搜索了 stackoverflow 并找到了诸如断开连接、连接然后使用新关键字搜索的解决方案，但在这种情况下我会丢失数据。

我还检查了 Twitter API，它最多可为您提供 450 个结果/15 分钟：
https://dev.twitter.com/docs/rate-limiting/1.1/limits

流 API：
- 公共流不会给机会拥有超过连接的机会
- 网站流不会给你搜索的机会

Firehose API 不是选项，因为它太贵了。

我该如何解决这个问题？我看到许多应用程序实时搜索多个实例。有没有人遇到过这种情况？

Answer 1

您可以使用 tweepy 从示例或过滤流端点收集所有推文并将其保存到数据库中。然后使用数据库仅返回您的搜索词的推文。

如果您不希望推文持续太久，则使用 redis 等 noSQL 数据库并使用过期时间戳可能会获得更好的结果，因此它不会无限填充。