如何使用 Python 快速向 json 添加信息

Question

我有包含地点的 geojson 文件。其中 "'parking': 0 " 一直都是。

'type': 'Feature', 
'properties': {
 ...// Other fields
'latitude': -74.0121613846062,
'longitude': 40.7043040747924,
'parking': 0 }

我想从另一个 csv 文件数据集更新它。

-------------------------------------------
 latitude    + Longitude + Possible_parking 
-------------------------------------------
-74.012161      40.804        -1

-1：无法停车

1：可能停车

我想更新 geojson 文件。

data = pd.read_csv("data/_all.csv")

geojson_in = open('data/input.json', 'r')
tracts_geojson = json.load(geojson_in)
geojson_in.close()


# For each record in the geojson file, add location information
for i, r in enumerate(tracts_geojson['features']):
    for x in range(len(data.latitude.values)):
        if ((r['properties']['latitude']==data["latitude"][x]) and (r['properties']['longitude']== data["longitude"][x])):
            r['properties']['parking'] = str(data['Possible_parking'][x])

我使用的脚本的问题是它需要很长时间（现在 +24 小时）。 我不想直接将 csv 文件转换为 json，因为 input.json 包含我在 CSV 文件中找不到的其他信息。

有没有什么pythonic方法可以更快地做到这一点？

Answer 1

您正在循环遍历 JSON 文件中每个功能的整个停车 CSV 行；这是一个 N * M 循环；一个 600MB 的 CSV 文件包含大约 3000 万个停车位条目（每行大约 21 个字节），并且您正在循环遍历所有 3000 万个每个功能。

您想将整个 CSV 文件加载到字典中：

import csv

with open(("data/_all.csv", 'rb') as incsv:
    reader = csv.reader(incsv)
    next(reader, None)  # skip presumed header
    parking = {(lat, long): park for lat, long, park in reader}

使用它而不是为每个 JSON 条目循环遍历整个数据集：

for feat in tracts_geojson['features']:
    lat, long = feat['properties']['latitude'], feat['properties']['longitude']
    if (lat, long) in parking:
        feat['properties']['parking'] = parking[lat, long]

在字典中查找需要固定的时间；您现在对每个功能使用一次直接查找，而不是每个功能 3000 万次循环。