使用 ijson python 将 1.4 GB json 数据加载到 mysql

Question

我遇到了几个讨论 ijson 在 python 中加载巨大 JSON 文件的线程，因为这是不消耗所有内存的方法。

我的文件大小约为 1.4 GB，它有几个节点（见下图），我只对一个保存大部分数据的节点感兴趣（c_driver_location）。

JSON_1.4GB

我的目标是：我只想提取 c_driver_location 节点数据并将其插入到 mysql db 表中（它将有四列：id、经度、纬度、时间戳）。

表 ddl：

创建表 drv_locations_backup7May2017 (id bigint unsigned auto_increment 主键， drv_fb_id varchar(50), 纬度 DECIMAL(10, 8) NOT NULL, 经度 DECIMAL(11, 8) NOT NULL, 时间戳整数）

我的问题是：我运行了附加代码的第一部分（直到连接到 mysql 之前），但是它运行了 20 个小时并且仍然没有完成对 json 的解析。 （我在较小的文件上进行了测试，效果很好）。

有没有一种最佳方法可以让这个过程更快、更高效？

import numpy as np
import pandas as pd
from pandas import Series, DataFrame
import ijson
import pymysql.cursors
import pymysql


filename = "D:\json_file.json"
drv_col_list = ['drv_fb_id','latitude','longitude','timestamp']
drv_df = DataFrame(columns = drv_col_list)
drv_df.timestamp = drv_df.timestamp.astype(int)

counter = 0
with open(filename, 'r') as fd:
    parser = ijson.parse(fd)
    for prefix, event, value in parser:
        if prefix == 'c_driver_location' and str(event) == 'map_key':
            drv_fb_id = value
            counter = counter + 1
        elif prefix.endswith('.latitude'):
            latitude = value
        elif prefix.endswith('.longitude'):
            longitude = value
        elif prefix.endswith('.timestamp'):
            timestamp = value
        elif prefix.endswith(drv_fb_id) and str(event) == 'end_map':
            drv_df = drv_df.append(pd.DataFrame({'drv_fb_id':drv_fb_id,'latitude':latitude,'longitude':longitude,'timestamp':timestamp},index=[0]),ignore_index=True)
connection = pymysql.connect(host='53.000.00.00',
                             port = 3306,
                             user='user',
                             password='abcdefg',
                             db ='newdb',
                             # charset='utf8mb4',
                             cursorclass=pymysql.cursors.DictCursor)
# write to mysql 
drv_df.to_sql(con=connection, name='drv_locations_backup7May2017', if_exists='replace', flavor='mysql')                                               
connection.close()

Answer 1

您只需稍微修改代码即可生成数据转储。

import ijson


outfile = "D:\upload_data.txt"
filename = "D:\json_file.json"
drv_col_list = ['drv_fb_id','latitude','longitude','timestamp']
timestamp = drv_df.timestamp.astype(int)


ofile = open(outfile, "rw")

counter = drv_fb_id = latitude = longitude = 0
with open(filename, 'r') as fd:
    parser = ijson.parse(fd)
    for prefix, event, value in parser:
        if prefix == 'c_driver_location' and str(event) == 'map_key':
            drv_fb_id = value
            counter = counter + 1
        elif prefix.endswith('.latitude'):
            latitude = value
        elif prefix.endswith('.longitude'):
            longitude = value
        elif prefix.endswith('.timestamp'):
            timestamp = value
        elif prefix.endswith(drv_fb_id) and str(event) == 'end_map':
            print >>ofile, ",".join(map(str, [drv_fb_id, latitude, longitude, timestamp]))           

close(ofile)

现在您在 D:\upload_data.txt 中有一个逗号分隔的输出

代码未经测试。

我目前没有测试 mysql 数据库。我相信 mysql manual is easy to follow 。你的表结构其实并不复杂。