使用 Python 抓取多个网页与第一页的结果相同

Question

我的问题是关于我试图从 CME 集团网站获取产品名称。但是，为什么我在循环中更改了 URL，但代码却无法访问下一页？对此有何想法和意见？提前致谢。

from urllib.request import Request
from urllib.request import urlopen
from bs4 import BeautifulSoup

for i in range(1,6):
 url='http://www.cmegroup.com/trading/products/#pageNumber='+str(i)+'&sortAsc=false'

 CMEacess=Request(url,headers={'User-Agent':'Mozilla/5.0'})
 print(url)
 print('page: '+str(i))

 CMEpage=urlopen(CMEacess).read()
 CMEsoup=BeautifulSoup(CMEpage,'html.parser')

 namelist=CMEsoup.findAll('th',attrs={'class','cmeTableLeft'})

  for name in namelist:
    print(name.get_text())

  print('\n')

Answer 1

您可以尝试使用 requests 库而不是 urllib。我刚刚使用与您的代码类似的代码成功访问了第 5 页，但存在这种差异。

请注意，文字“D3”出现在第五页而不是第一页。

>>> import requests
>>> i = 5
>>> url='http://www.cmegroup.com/trading/products/#pageNumber='+str(i)+'&sortAsc=false'
>>> page = requests.get(url).content
>>> import bs4
>>> soup = bs4.BeautifulSoup(page, 'lxml')
>>> soup.find_all(string='D3')
['D3', 'D3']