推文抓取 - 如何衡量推文强度？答案

【问题标题】：Tweets scraping - how to measure tweeting intensity?推文抓取 - 如何衡量推文强度？
【发布时间】：2021-06-04 21:48:09
【问题描述】：

我正在寻找一种方法来获取有关 Twitter 上某些主题标签/关键字的“趋势”信息。假设我想测量主题标签/关键字“Python”在推特上的发布频率。例如，今天，“Python”平均每 1 分钟发布一次推文，而昨天平均每 2 分钟发布一次推文。

我尝试了各种选项，但我总是摆脱 twitter API 的限制，即如果我尝试在最后一天（例如）下载主题标签的所有推文，则只会下载一定比例的推文（通过tweepy.cursor)。

您有什么想法/脚本示例可以实现类似的结果吗？图书馆或指南推荐？我在互联网上搜索时没有找到任何帮助。谢谢。

【问题讨论】：

标签： python web-scraping twitter tweepy

【解决方案1】：

您应该检查twint 存储库。

可以获取几乎所有推文（Twitter API 仅限于最后 3200 条推文）；
快速初始设置；
无需注册 Twitter 即可匿名使用；

这是一个示例代码：

import twint


def scrapeData(search):
    c = twint.Config()

    c.Search = search

    c.Since = '2021-03-05 00:00:00'
    c.Until = '2021-03-06 00:00:00'
    c.Pandas = True
    c.Store_csv = True
    c.Hide_output = True
    c.Output = f'{search}.csv'
    c.Limit = 10  # number of tweets want to fetch

    print(f"\n#### Scraping from {c.Since} to {c.Until}")
    twint.run.Search(c)

    print("\n#### Preview: ")
    print(twint.storage.panda.Tweets_df.head())


if __name__ == "__main__":
    scrapeData(search="python")

【讨论】：

谢谢！这可能是我正在寻找的。巧合的是，我刚刚碰到它，所以我正看着它，就像你发布它一样。
@mieleki install twint using pip3 install --user --upgrade git+https://github.com/twintproject/twint.git@origin/master#egg=twint 否则显示错误check here

【解决方案2】：

尝试一个名为： GetOldTweets 或 GetOldTweets3

Twitter 搜索及其 API 的扩展并不意味着是详尽的推文来源。 Twitter Streaming API 对可以从与输入参数匹配的推文中提取多远的推文设置了一周的限制。因此，为了提取与一组搜索参数相关的所有历史推文进行分析，需要绕过 Twitter 官方 API，并且需要使用模仿 Twitter 搜索引擎的自定义库。

【讨论】：

感谢您的回答。我认为我不一定需要历史推文，而是“当前强度”。最终目标是获取当前的推文量。因此，如果该方法在时间上是一致的（例如，每次调用它时在过去一小时内获取 10% 的推文），我什至不需要拥有所有当前的推文（即使是一小部分就足够了）。这样，我仍然可以近似推文强度。
您仍然可以使用 GetOldTweets 库来满足您的目的。 GetOldTweets 能够绕过 Twitter 流 API 限制。试试看吧。