将 beautifulsoup 网页抓取保存到 json

Question

python noob here，我已经设法从 Wikipedia 上抓取了一份公司列表，如何将输出保存为 JSON 文件？

import requests
from bs4 import BeautifulSoup
import JSON

url = "https://en.wikipedia.org/wiki/List_of_companies_traded_on_the_JSE"
responce = requests.get(url)
soup = BeautifulSoup(responce.text, 'html.parser')
tables = soup.findAll('table', {'class':"wikitable sortable"})

for table in soup.find_all('table', {'class':"wikitable sortable"}):
         print(table.text

Answer 1

在 table 中，您将检索您感兴趣的所有对象，您甚至可以在选择中添加更多粒度以仅从 HTML 中获取名称。 然后做：

with open('data.json', 'w') as outfile:
    json.dump(table, outfile)

Answer 2

使用这个：

import requests
from bs4 import BeautifulSoup
import json

url = "https://en.wikipedia.org/wiki/List_of_companies_traded_on_the_JSE"
responce = requests.get(url)
soup = BeautifulSoup(responce.text, 'html.parser')
table = soup.findAll('table', {'class':"wikitable sortable"})
tables = [str(x.text) for x in table]
json_text = json.dumps(tables)

with open('companies.json', 'w') as json_file:
    json_file.write(json_text)

这应该可以解决问题。虽然我不确定你打算用它做什么，因为这是表中所有数据的列表。