【发布时间】:2015-06-10 20:05:57
【问题描述】:
我有一个很大的 json 推文文件(大约 5GB)。我有记忆错误。所以,我决定解析数据。我找到了 ijson 包。我遇到了这样的错误:
import ijson
parser = ijson.parse(tweets_data_path )
tweets_data = []
f = open(tweets_data_path, "r")
objects = ijson.items(f, 'other_config.item')
for line in objects:
try:
tweet = json.loads(line)
tweets_data.append(tweet)
except:
continue
"没有名为 ijson 的模块" 我对 Python 还很陌生,我查看了包的源文件。但我可以大致了解要求是什么。任何帮助将不胜感激。
【问题讨论】:
-
你是如何安装
ijson包的? -
import ijson是不是打错字了?该模块名为json -
@CoryKramer 它是一种迭代 json 解析器,在数据太大而无法放入内存的情况下使用它。
-
@larsks 哦,好吧,我第一次听说它(并不是说我是那些东西的好参考,我很少在工作中使用 JSON)
-
我是通过终端安装的,比如安装 ijson。但显然没有用..
标签: python json parsing tweets