使用 BeautifulSoup 在脚本标签中查找键

Question

我正在尝试从 HTML 文档中的脚本标签获取产品 ID。不幸的是，StockX 不提供公共 API，所以我必须从 HTML 文档中抓取数据。这是我的尝试（两者都有效）：

尝试 1

import requests

PRODUCT_URL = 'https://stockx.com/supreme-steiff-bear-heather-grey'
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}

response = requests.get(url=PRODUCT_URL, headers=HEADERS).text
PRODUCT_ID = response[response.find('"product":{"id":"')+17:].partition('"')[0]
PRODUCT_NAME = response[response.find('<title>')+7:].partition('<')[0]

尝试 2

from bs4 import BeautifulSoup
import requests

# Gets HTML document
PRODUCT_URL = 'https://stockx.com/supreme-steiff-bear-heather-grey'
HEADERS = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}
html_content = requests.get(url=PRODUCT_URL, headers=HEADERS)

# Make BeautifulSoup parser from HTML document
soup = BeautifulSoup(html_content.text, 'html.parser')

# Get product name
PRODUCT_NAME = soup.title.text

# Get script tag data with product ID
js_content = soup.find_all('script', type='text/javascript')[9].text
PRODUCT_ID = js_content[50:86]

print(PRODUCT_ID)

输出： 884861d2-abe6-4b09-90ff-c8ad1967ac8c

但是，我觉得有更好的方法来解决这个问题，而不仅仅是在哪里找到 ID 的“硬编码”。

如果您查看产品 URL 的页面源并搜索 "product":{"id":，您会发现 ID 位于分配给对象的嵌套字典和标签内。

有没有更好的方法从 HTML 文档中获取产品 ID？

编辑：这是html_content的内容：https://gist.github.com/leecharles50/9b6b11fb458767cabcfc0ed4f961984d

Answer 1

我的第一个想法是解析标签内的 JavaScript。有一个名为slimit 的包可以做到这一点。参见例如this answer。

但是，在您的情况下，还有一个更简单的解决方案。我在 DOM 中搜索了您提供的 id (884861d2-abe6-4b09-90ff-c8ad1967ac8)，并在以下标签中发现了一个事件：

<script type="application/ld+json">
    {
        [...]
        "sku" : "884861d2-abe6-4b09-90ff-c8ad1967ac8c",
        [...]
    }
</script>

其中包含有效的 JSON。只需找到带有 BeautifulSoup 的标签：

tag = soup('script', {'type': 'application/ld+json'})[-1]

并在其中解码 JSON：

import json
product_id = json.loads(tag.text)['sku']

Answer 2

从产品 URL 可以看出，这已经在多个产品页面上进行了测试。

import requests
import json
from bs4 import BeautifulSoup

#product_url = 'https://stockx.com/supreme-steiff-bear-heather-grey'
product_url = 'https://stockx.com/air-jordan-1-retro-high-shattered-backboard-3'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'}

html_content = requests.get(url=product_url, headers=headers)

soup = BeautifulSoup(html_content.text, 'lxml')

script_tags = soup.find_all('script', attrs={'type': 'application/ld+json'})

product_info_text = script_tags[-1].text

# contains a bunch of useful info
product_info_json = json.loads(product_info_text, strict=False)

print(json.dumps(product_info_json, indent=4))

product_sku = product_info_json['sku']

print(product_sku)

我将尝试使用SoupStrainer。

Answer 3

这是使用正则表达式的替代方法：

import requests
import re

product_uuid = re.compile(r'"product":{"id":"(\w{8}-(?:\w{4}-){3}\w{12}){1}"')
product_name = re.compile(r'<title>(.*)</title>')

url = 'https://stockx.com/supreme-steiff-bear-heather-grey'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'
}

content = requests.get(url, headers=headers)

if content.ok:
    PRODUCT_NAME = product_name.findall(content.text)[0]
    PRODUCT_UUID = product_uuid.findall(content.text)[0]

    print(PRODUCT_NAME)
    print(PRODUCT_UUID)

稍微硬编码但易于调整，仅依赖于标准模块。