如何通过 tweepy 将推文导出为 txt 或 json？

Question

我正在使用 tweepy 来捕获推特数据，我想知道我是否可以将推文导出到 json、txt 或 csv 文件？ 我的代码：

#coding = utf-8

import json
import tweepy
from tweepy import OAuthHandler
from tweepy import Stream
from tweepy.streaming import StreamListener

consumer_key = "my_consumer_key"
consumer_secret = "my_consumer_secret"
access_token = "my_acess_token"
access_token_secret = "my_acess_token_secret"

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth)

def saida_json(tweet):
    with open('tweet.json', 'a', encoding='utf-8') as f:
        json.dump(tweet, f)

def saida_txt(tweet):
    with open('tweet.txt', 'a', encoding='utf-8') as f:
        for linha in tweet:
            f.write(tweet + '\n')

name = "usersl"
tweetCount = 20
public_tweets = api.home_timeline()
user_tweets = api.user_timeline(id=name, count=tweetCount)

for tweet in user_tweets:
    print(tweet.user.screen_name, tweet.text)
    saida_txt(tweet.text)
    saida_json(tweet)

我曾尝试通过函数来​​做到这一点，但每次都遇到错误。在 txt 文件中，它只写入第一条推文和 json，通知“它没有被序列化”。 我的错误在哪里？

Answer 1

如果您尝试将 tweet 写入 JSON 文件，json.dump 将尝试将其转换为 JSON 格式。这个过程称为serialization。 json.dump 仅支持默认编码器中的一小组类型，您可以阅读有关 in the Python documentation 的信息。由于 tweeps 用来表示推文的类不属于这些类型，json 模块会引发您提到的异常。

作为一种解决方案，您可以序列化包含有关推文的各种数据的字典，这是一个示例：

def tweet_to_json(tweet):
    tweet_dict = {
        "text": tweet.text,
        "author_name": tweet.user.screen_name
    }
    with open('tweet.json', 'w+') as f:
        json.dump(tweet_dict, f)

请注意，对 JSON 文件使用附加模式通常不是一个好主意。您可以改用 JSON 列表。 This reply to another question 可能会帮助你。

编辑：以下是保存 JSON 列表的示例：

result = []
for tweet in api.user_timeline(id=name, count=tweetCount):
    result.append({
        'text': tweet.text, 
        'author_name': tweet.user.screen_name
    })
with open('tweet.json', 'w+') as f:
    json.dump(result, f)