如何在“脚本”标签下获取特定内容

Question

我正在使用漂亮的汤抓取 H&M 网页，并尝试将 javascript 转换为字符串，然后从中提取服装尺码信息。我认为首先我需要获取字符串，然后我应该拆分字符串并提取我正在寻找的部分，最后我可以使用json.load() 将字符串转换为字典，以便我可以从中获取值字典。但是当我尝试从冗长而凌乱的字符串中提取部分时遇到了问题。此外，由于脚本混合了'' 和""，我也无法直接使用json.load() 加载它们。谁能帮我弄清楚如何提取我正在寻找的部分？

我正在抓取的网页是：https://www2.hm.com/en_us/productpage.0624684003.html。

这就是我找到脚本标签并将其转换为字符串的方式：

user_agent = 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.90 Safari/537.36'
url='https://www2.hm.com/en_us/productpage.0931364012.html'
headers =   {'accept':'*/*',"user-agent":user_agent}
response = requests.get(url,headers=headers)
page = BeautifulSoup(response.content, "html.parser")
script = page.find('div', class_="product parbase").find('script').string 

# This is how I find the first level of dictionary:
firstlevel_dict = script.split('productArticleDetails = ')[1]

# in the next step, I hope to convert the above string-like dictionary into a real dictionary, and then find the all displayed sizes for this t-shirt

我附上了一个屏幕截图，显示了 HTML 如下所示，红色框中的内容是我正在寻找的内容。最后，我希望得到一个看起来像['S','M','L','XL','XXL','3XL'] 的尺寸列表。

PS：我也愿意接受其他可能找到 H&M 衣服尺码的方法。谢谢！

PS_plus：我不想在这种情况下使用 Selenium，因为我有成千上万的产品要抓取。 Selenium 在获取我想要的信息时效率太低了。

Answer 1

从你离开你得到的字符串的地方继续不是完全的 JSON 数据格式化文本有

# This is how I find the first level of dictionary:
firstlevel_dict = script.split('productArticleDetails = ')[1]
dictionary_to_get = firstlevel_dict[:firstlevel_dict.rfind(';')] # remove ';' at the end of the string to make it part of a dictionary

dictionary_to_get = dictionary_to_get.replace('\'', '"') # first error -- the text is formatted with single quotes where json needs double
dictionary_to_get = dictionary_to_get.replace('isDesktop ?', '"isDesktop ?",') # second error this word is part of a strange double value (dictionary with a dictionary) didn't know how you would have liked it to format, so did a simple solution to load the dictionary

print(json.loads(dictionary_to_get))

现在您可以遍历字典以获取您的信息，如下所示：

for k,v in json_dictionary.items():
    try:
        int(k)
    except:
        continue
    #print(v['sizes']) # print the size dictionary totally (outside your highlight)
    for item in v['sizes']:
        print(item['name']) # get just the name