无法将所有 .JSON 文件导入 MongoDB

Question

问题已解决：事实证明，我从一开始就没有真正遇到过问题。当我计算记录数以确定我应该导入多少记录时，.json 对象之间的空格被添加到总记录数中。但是，在导入时，仅移动了具有内容的对象。无论如何，我将把这篇文章留在这里以供参考。感谢那些不顾一切做出贡献的人。

---

我有大约 33GB 的 .JSON 文件，这些文件是从 Twitter 的流 API 中检索到的，存储在本地目录中。我正在尝试将此数据导入 MongoDB 集合。我做了两次尝试：

第一次尝试：单独读取每个文件（约 70 个文件）。这成功导入了 11,171,885/ 22,343,770 个文档。

import json
import glob
from pymongo import MongoClient

directory = '/data/twitter/output/*.json'
client = MongoClient("localhost", 27017)
db = client.twitter
collection = db.test

jsonFiles = glob.glob(directory)
for file in jsonFiles:
        f = open(file, 'r')
        for line in f.read().split("\n"):
                if line:
                        try:
                                lineJson = json.loads(line)
                        except (ValueError, KeyError, TypeError) as e:
                                pass
                        else:
                                postid = collection.insert(lineJson)
                                print 'inserted with id: ' , postid

        f.close()

第二次尝试：将每个 .JSON 文件连接成一个大文件。这成功导入了 11,171,879/ 22,343,770 个文档。

import json
import os
from pymongo import MongoClient
import sys

client = MongoClient("localhost", 27017)
db = client.tweets
collection = db.test

script_dir = os.path.dirname(__file__)
file_path = os.path.join(script_dir, '/data/twitter/blob/historical-tweets.json')

try:
        with open(file_path, 'r') as f:
                for line in f.read().split("\n"):
                        if line:
                                try:
                                        lineJson = json.loads(line)
                                except (ValueError, KeyError, TypeError) as e:
                                        pass
                                else:
                                        postid = collection.insert(lineJson)
                                        print 'inserted with id: ' , postid

                f.close()

python 脚本没有出错并输出回溯，它只是停止运行。关于可能导致这种情况的任何想法？或者任何更有效地导入数据的替代解决方案？提前致谢。

Answer 1

您当时正在读取文件一行。每行真的是有效的json吗？如果没有， json.loads 将跟踪，您将使用 pass 语句隐藏该跟踪。