无法 Webscrape 下拉项 [Python][beautifulsoup]

Question

我是网络抓取的新手，我正在抓取一个网站 - https://www.valueresearchonline.com/funds/22/uti-mastershare-fund-regular-plan/

在此，我想刮掉这段文字 - 常规计划

但问题是，当我使用检查元素执行此操作时， 代码 -

import requests
from bs4 import BeautifulSoup
import csv
import sys

url = 'https://www.valueresearchonline.com/funds/newsnapshot.asp?schemecode=22'
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
regular_direct = soup.find('span',class_="filter-option pull-left").text

print(regular_direct)

我在打印中没有得到任何结果，我不知道为什么，inspect element 和 view page source 中的代码也不同，因为在 view page source 中，这个 span 和 class 不存在。 为什么我什么都没有？？谁能告诉我，我怎样才能得到那个文本以及为什么检查元素代码和查看页面源代码不同？

Answer 1

你需要更改选择器，因为下载的 html 源不同。

import requests
from bs4 import BeautifulSoup
import csv
import sys

url = 'https://www.valueresearchonline.com/funds/newsnapshot.asp?schemecode=22'
res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")
regular_direct = soup.find("select", {"id":"select-plan"}).find("option",{"selected":"selected"}).get_text(strip=True)

print(regular_direct)

输出：

Regular plan