使用 tweepy 抓取推文时如何排除转推

Question

我想用 tweepy 从 twitter 上抓取数据，但我不想在其中包含转推。怎么做？

这是我的代码：

import tweepy
import csv

consumer_key = 'xx'
consumer_secret = 'xx'
access_token = 'xx'
access_token_secret = 'xx'

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth,wait_on_rate_limit=True)

csvpefile = open ('netflix.csv', 'a')
csvWriter = csv.writer(csvpefile)


for tweet in tweepy.Cursor(api.search,
                       q=["netflix"], 
                       lang="id",
                       since="2020-07-8", 
                       tweet_mode = 'extended', 
                       trucated='false').items(200):

print(tweet.created_at, tweet.id, tweet.full_text)
csvWriter.writerow([tweet.created_at, tweet.id, tweet.full_text.encode('utf-8')])

我试过了

                    count=None,
                    since_id=None,
                    max_id=None,
                    trim_user=False,
                    exclude_replies=False,
                    contributor_details=False,
                    include_entities=True):
                  

和

q=["netflix -filter:retweets"]

在 api.search 中，但还是不行

Answer 1

通过添加快速检查以查看推文文本字符串是否以 rt @ 开头，您应该能够阻止转推出现在您的 csv 文档中。

import tweepy
import csv

consumer_key = 'xx'
consumer_secret = 'xx'
access_token = 'xx'
access_token_secret = 'xx'

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth,wait_on_rate_limit=True)

csvpefile = open ('netflix.csv', 'a')
csvWriter = csv.writer(csvpefile)


for tweet in tweepy.Cursor(api.search,
                       q=["netflix"], 
                       lang="id",
                       since="2020-07-8", 
                       tweet_mode = 'extended', 
                       trucated='false').items(200):

# could go without this variable it just makes it easier
tweettext = str(tweet.full_text.lower().encode('ascii',errors='ignore'))

# check if the tweet starts with the format for a retweet
if tweettext.startswith("rt @") == False:
    csvWriter.writerow([tweet.created_at, tweet.id, tweet.full_text.encode('utf-8')])

Answer 2

要在搜索中排除转推，请尝试：

q=["netflix -filter:retweets"]

注意：使用 tweepy 不是“抓取”。您正在使用公共 API。