使用 Tweepy 从指定用户的时间线上挖掘所有推文和转推

Question

我正在尝试挖掘 WomensMarch 的 Twitter 时间线上的每一条推文。

我一直在尝试使用 Tweepy 和 Python 3.x，但我似乎无法挖掘超过 3219 条推文。有什么方法可以挖掘 Twitter 上指定用户自创建帐户以来曾经转发或发过推文的 /every/ 推文？

这是我目前使用的代码：

import pandas as pd
import tweepy
from tweepy import OAuthHandler
import time 

consumer_key = "--"
consumer_secret = "--"
access_token = "--"
access_secret = "--"

authHandler = OAuthHandler(consumer_key, consumer_secret)
authHandler.set_access_token(access_token, access_secret)
twitterAPI = tweepy.API(authHandler, wait_on_rate_limit=True, wait_on_rate_limit_notify=True)

womensMarchTwitter = twitterAPI.get_user('womensmarch')
minedTwitterDataFrom_womensMarchTwitter = pd.DataFrame(columns=["Tweet Text", "Tweet Created On"])

def MineTimelineData(idToMine):
    cursor = tweepy.Cursor(twitterAPI.user_timeline, id=idToMine)
    while(tweepy.Cursor(twitterAPI.user_timeline).items() != None):
        try:
            for page in cursor.pages():
                for tweet in page:
                    yield tweet
        except tweepy.RateLimitError:
            print("Rate limit reached! Waiting 15 minutes...")
            time.sleep(60 * 15) #wait 15 minutes (900 seconds)

minedData = MineTimelineData(womensMarchTwitter.id)

numberOfTweetsMined = 0
for tweet in minedData:
    print(tweet.text)
    print("Posted on: ", tweet.created_at)
    minedTwitterDataFrom_womensMarchTwitter.loc[numberOfTweetsMined, "Tweet Text"] = tweet.text
    minedTwitterDataFrom_womensMarchTwitter.loc[numberOfTweetsMined, "Tweet Created On"] = tweet.created_at
    numberOfTweetsMined = numberOfTweetsMined + 1

minedTwitterDataFrom_womensMarchTwitter.to_csv(r"PATH") 
print(numberOfTweetsMined)
print("\n \n \n Finished Mining Tweets!")

Answer 1

根据Twitter API docs，您可以使用user_timeline 一次返回的最多记录将是 3,200。

来自文档：

此方法最多只能返回用户最近的 3,200 条推文。用户对其他状态的本机转推包含在此总数中，无论在请求此资源时是否将include_rts 设置为false。

老实说，我不确定你是如何获得这 19 条额外推文的，但这绝对是规范的一部分。