【问题标题】:Tweet extraction using Tweepy with specific fields required使用 Tweepy 提取推文,需要特定字段
【发布时间】:2017-08-17 02:30:00
【问题描述】:

我正在尝试根据某些主题标签或关键字提取推文,并希望捕获以下信息: 日期、用户名(发推文的人)、转发次数和点赞数。

我希望所有这些信息都采用列行格式,并以 Excel 或 CSV 格式导出。我已经尝试了以下代码,但我无法获得所有内容。

我该怎么做?

import tweepy
import csv
ckey = "*************"
csecret = "******************"
atoken = "****************"
asecret = "************************"
OAUTH_KEYS = {'consumer_key':ckey,'consumer_secret':csecret,'access_token_key':atoken,'access_token_secret':asecret}
auth=tweepy.OAuthHandler(OAUTH_KEYS['consumer_key'],OAUTH_KEYS['consumer_secret'api = tweepy.API(auth)
testTweet = tweepy.Cursor(api.search, q="Trump AND H1B").items(1000)
for tweet in testTweet:
    print (tweet.created_at, tweet.text, tweet.lang, tweet.user)

【问题讨论】:

    标签: python python-3.x twitter web-scraping tweepy


    【解决方案1】:

    Tweepy 使用 Twitter API,因此您可以使用 these fields 提取所有推文信息。

    你可以这样修改你的代码:

    for tweet in testTweet:
        text     = tweet.text
        language = tweet.lang
        date     = tweet.created_at
        username = tweet.user
        retweets = tweet.retweet_count
        likes    = tweet.favorite_count
    

    最后,如果您想将所有信息存储在 Excel 文件中,我建议您使用xlsxwriter。该软件包允许您处理 .xls 和 .xlsx 格式,并且使用简单。

    否则,如果您想使用 CSV,请查看this Stack Overflow question。

    【讨论】:

    • 感谢@Giordano-我尝试将其写入 csv 格式,但它给了我一个空白文件。
    • 您能否使用 CSV 代码编辑您的问题?
    • @Giordano- csvFile = open('result.csv', 'w') csvWriter = csv.writer(csvFile) for tweet in tweepy.Cursor(api.search, q="Mercedes", since="2016-02-14", until="2016-12-15", lang="en").items(): csvWriter.writerow([tweet.user, tweet.created_at, tweet.text.encode( "utf-8"),tweet.retweet_count,tweet.favorite_count]) 打印 (tweet.user, tweet.created_at, tweet.text, tweet.retweet_count, tweet.favorite_count) csvFile.close()
    • 关于这几点注意事项:您正试图获得 10 个月的推文,我认为 Twitter 限制正在阻止您。在 for 循环中,您的 print 语句显示了什么?我的意思是,我认为您的 csv 是空的,因为没有数据。
    • @Giordano- 即使将日期范围更改为一个月,结果也是空白
    猜你喜欢
    • 1970-01-01
    • 2019-08-30
    • 2020-09-04
    • 2016-10-20
    • 2015-06-20
    • 2021-04-30
    • 1970-01-01
    • 2016-05-18
    • 2020-03-12
    相关资源
    最近更新 更多