将 json 从 url 拉入数据框错误

Question

看这里https://quant.stackexchange.com/questions/40538/automatically-get-ishares-etf-holdings/40610?noredirect=1#comment63646_40610 似乎我可以指向一个有文件的 url，以便将其拉入 DataFrame：

import pandas as pd
url = 'https://www.ishares.com/us/products/239705/ishares-phlx-semiconductor-etf/1467271812596.ajax?fileType=csv'
df = pd.read_csv(url, skiprows=10)    
print(df.head())

我尝试对 json 类型的文件做同样的事情：

import pandas as pd
url = 'https://www.ishares.com/us/products/etf-product-list/1522815705927.ajax?fileType=json'
df = pd.read_json(url)
print(df.head()

但是，它正在抛出 ValueError: Expected object or value。我尝试添加lines=True 和其他变体，但没有运气。 我怎样才能把这个 json 作为数据框拉出来？

您可以转到https://www.ishares.com/us/products/etf-product-list 并单击“下载”（这会生成一个.xls）来查看它的实际外观，或者在浏览器中输入https://www.ishares.com/us/products/etf-product-list/1522815705927.ajax?fileType=json。我不选择fileType=csv 或xls 的原因是因为csv 返回带有大量JS 代码的意外输出，而xls 返回HTTP 500 错误。

Answer 1

我不确定错误的原因是什么，但这里有一个使用请求库的解决方法：

import requests
from json import loads
import pandas as pd

url = 'https://www.ishares.com/us/products/etf-product-list/1522815705927.ajax?fileType=json'
json_dict = loads(requests.get(url).content)

#parse headers
headers=[]
for header in json_dict['columns']:
    headers.append(header['name'])

df = pd.DataFrame(json_dict['data'], columns=headers)

希望这会有所帮助。