如何使用漂亮的汤和 python 刮卡细节

Question

我正在尝试抓取此链接：https://www.axisbank.com/retail/cards/credit-card

使用以下代码

from urllib.request import urlopen
from bs4 import BeautifulSoup
import json, requests, re

axis_url = ["https://www.axisbank.com/retail/cards/credit-card"]

html = requests.get(axis_url[0])
soup = BeautifulSoup(html.content, 'lxml')

for d in soup.find_all('span'):
    print(d.get_text())

输出：

close
5.15%
%
4.00%
%
5.40%

基本上我想获取该页面中每张卡片的详细信息

我尝试了不同的标签，但似乎都没有效果。

我很高兴看到满足我要求的代码。

非常感谢任何帮助。

Answer 1

会发生什么？

您的主要问题是，该网站动态地提供其内容，而您不会达到您的目标，即您请求它的方式。打印你的汤看看，它不会包含你在浏览器中检查的元素。

如何解决？

使用 selenium 可以处理动态生成的内容并提供您检查过的信息：

示例

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome(executable_path=r'C:\Program Files\ChromeDriver\chromedriver.exe')
url = 'https://www.axisbank.com/retail/cards/credit-card'
driver.get(url)

soup = BeautifulSoup(driver.page_source, 'lxml')
    
driver.close()

textList = []
for d in soup.select('#ulCreditCard li li > span'):
        textList.append(d.get_text('^^', strip=True))
    
textList