将 JSON 文件加载到字典中，而不是字符串或列表

Question

我使用以下简化代码在线抓取数据后创建了一个 JSON 文件：

for item in range(items_to_scrape)
    az_text = []
    for n in range(first_web_page, last_web_page):
            reviews_html = requests.get(page_link)
            tree = fromstring(reviews_html.text)
            page_link = base_url + str(n)
            review_text_tags = tree.xpath(xpath_1)
            for r_text in review_text_tags:
                review_text = r_text.text
                az_text.append(review_text)
    az_reviews = {}
    az_reviews[item] = az_text
    with open('data.json', 'w') as outfile:
        json.dump(az_reviews , outfile)

可能有更好的方法来创建一个 JSON 文件，其中第一个键等于项目编号，第二个键等于该项目的评论列表，但是我目前卡在打开 JSON 文件以查看项目已被抓取。

JSON 文件的结构如下所示：

{
  "asin": "0439785960",
  "reviews": [
    "Don’t miss this one!",
    "Came in great condition, one of my favorites in the HP series!",
    "Don’t know how these books are so good and I’ve never read them until now. Whether you’ve watched the movies or not, read these books"
  ]
}

似乎更接近解决方案的不成功尝试如下：

import json
from pprint import pprint

json_data = open('data.json', 'r').read()
json1_file = json.loads(json_data)
print(type(json1_file))
print(json1_file["asin"])

它返回一个字符串，该字符串完全复制了我在抓取过程中使用的 print() 函数的结果，以检查 JSON 文件的外观，但我无法使用 @987654326 访问 asins 或评论@ 或 json1_file["reviews"] 因为读取的文件是字符串而不是字典。

TypeError: string indices must be integers

使用json.load() 函数，我仍然可以打印正确的内容，但我无法弄清楚如何从 JSON 文件访问类字典对象以遍历键和值。

以下代码打印文件的内容，但在我尝试遍历键和值时引发错误 (AttributeError: '_io.TextIOWrapper' object has no attribute 'items')：

with open('data.json', 'r') as content:
    print(json.load(content))
    for key, value in content.items():
        print(key, value)

上面的代码有什么问题，应该调整什么以将文件加载到字典中？

Answer 1

字符串索引必须是整数

您将数据写成字符串，而不是字典。删除转储，仅转储

with open('data.json', 'w') as outfile:
    json.dump(az_reviews, outfile, indent=2, ensure_ascii=False) 

将文件加载到字典中需要调整什么？

一旦你解析一个 JSON 对象，而不是一个字符串，那么除了可能不使用读取之外什么都没有，然后加载，而只是 json.load

---

另一个问题似乎是您在每次循环迭代时都覆盖了文件

相反，您可能希望打开一个文件，然后循环并写入该文件

data = {} 
for item in range(items_to_scrape):
    pass # add to data
# put all data in one file 
with open('data.json', 'w') as f:
    json.dump(data, f)

在这种情况下，我建议您将 asin 存储为键，将评论存储为值

asin = "123456"  # some scraped value 
data[asin] = reviews 

---

或者为每个scrape写一个唯一的文件，然后你必须循环读取它们。

for item in range(items_to_scrape):
    data = {} 
    # add to data
    with open('data{}.json'.format(item), 'w') as f: 
        json.dump(data, f)