当我使用 beautifulsoup 阅读标签时，我总是得到 None

Question

我正在尝试读取一些名称和 ID，例如：

<a class="inst" href="loader.aspx?ParTree=151311&amp;i=3823243780502959" 
target="3823243780502959">رتكو</a>

i = 3823243780502959

等等，来自tsetmc.com。这是我的代码：

import requests
from bs4 import BeautifulSoup
url = 'http://www.tsetmc.com/Loader.aspx?ParTree=15131F'
page = requests.get(url)
soup = BeautifulSoup(page.content , 'html.parser')
first_names_Id = soup.find_all('a',class_='isnt' )
print (first_names_Id)

但它返回None。

如何阅读这些标签？我对其他标签也有同样的问题。

Answer 1

我使用 Selenium 而不是请求访问解析所需的网站，它给了我你想要的结果。

我认为 requests 库没有像 selenium 库那样返回 html 响应的原因是因为您要解析的网站是用 JavaScript 呈现的

另请注意，您的类属性值有错字，应该是“inst”而不是“isnt”。

代码：

from selenium import webdriver
from bs4 import BeautifulSoup

driver = webdriver.Chrome()
url = 'http://www.tsetmc.com/Loader.aspx?ParTree=15131F'
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'html.parser')
first_names_Id = soup.findAll('a', {'class': 'inst'})
print(first_names_Id)

输出：

[<a class="inst" href="loader.aspx?ParTree=151311&amp;i=33541897671561960" target="33541897671561960">واتي</a>, <a class="inst" href="loader.aspx?ParTree=151311&amp;i=33541897671561960" target="33541897671561960">سرمايه‌ گذاري‌ آتيه‌ دماوند</a>, <a class="inst" href="loader.aspx?ParTree=151311&amp;i=9093654036027968" target="9093654036027968">طپنا7002</a>, <a class="inst" href="loader.aspx?ParTree=151311&amp;i=9093654036027968" target="9093654036027968">اختيارف رمپنا-7840-19/07/1396</a>, <a class="inst" href="loader.aspx?ParTree=151311&amp;i=19004627894176375" target="19004627894176375">طپنا7003</a>, <a class="inst" href="loader.aspx?ParTree=151311&amp;i=19004627894176375" target="19004627894176375">اختيارف رمپنا-8340-19/07/1396</a>, **etc**]