有没有办法从 javascript 文档中提取列表？

Question

有一个网站，我需要从在线游戏项目和研究中获取该项目的所有者，我需要进行一些“网络抓取”来获取这些数据。但是，信息在 Javascript 文档/代码中，不是一个易于解析的 HTML 文档，如 bs4 表明我可以轻松地从中提取信息。所以，我需要在这个 javascript 文档中获取一个变量（包含我正在查看的项目的所有者列表）并 将它变成一个可用的列表/json/字符串，我可以在我的程序中实现。有没有办法我可以做到这一点？如果可以，我该怎么做？

我附上了一张我在查看我所在网站的页面源代码时需要的变量的图片。

我当前的代码：

from bs4 import BeautifulSoup
html = requests.get('https://www.rolimons.com/item/1029025').content #the item webpage
soup = BeautifulSoup(html, "lxml")
datas = soup.find_all("script")
print(data) #prints the sections of the website content that have ja

IMAGE LINK

Answer 1

要抓取 javascript 变量，不能只使用 BeautifulSoup。需要正则表达式 (re)。

使用ast.literal_eval将dict的字符串表示形式转换为dict。

from bs4 import BeautifulSoup
import requests
import re
import ast

html = requests.get('https://www.rolimons.com/item/1029025').content #the item webpage
soup = BeautifulSoup(html, "lxml")

ownership_data = re.search(r'ownership_data\s+=\s+.*;', soup.text).group(0)
ownership_data_dict = ast.literal_eval(ownership_data.split('=')[1].strip().replace(';', ''))
print(ownership_data_dict)

输出：

> {'id': 1029025, 'num_points': 1616, 'timestamps': [1491004800,
> 1491091200, 1491177600, 1491264000, 1491350400, 1491436800,
> 1491523200, 1491609600, 1491696000, 1491782400, 1491868800,
> 1491955200, 1492041600, 1492128000, 1492214400, 1492300800,
> 1492387200, 1492473600, 1492560000, 1492646400, 1492732800,
> 1492819200, ...}

Answer 2

import requests
import json
import re

r = requests.get('...')
m = re.search(r'var history_data\s+=\s+(.*)', r.text)
print(json.loads(m.group(1)))