网页抓取，网址按日期更改

Question

我正在编写一个使用 python 和 BeautifulSoup4 的脚本。脚本本身已完成，唯一引起问题的部分是正在使用的 url。

我正在使用此代码传递网址：

urllist = ["samplewebsitename.com/2015/05/xxx-chapter-{}.html".format(str(pgnum).zfill(2)) for pgnum in range(1, chapter_number+1)]
for url in urllist:
    url_queue.put(url)

我遇到的一个问题是，在抓取网站时，我注意到部分 url 会根据上传时间而发生变化。例如：

samplewebsitename.com/2015/05/xxx-chapter-01.html
samplewebsitename.com/2015/06/xxx-chapter-32.html
samplewebsitename.com/2015/10/xxx-chapter-47.html

我可以处理这些章节，因为它们是连续的，但是添加材料时的月份和年份没有固定的模式。我想知道是否有办法解决这个问题。

年份和月份也需要成为变量，以替换为示例中的硬编码变量，但从网站获取它们似乎比我想象的要难。

编辑 显然，您可以从下拉列表中获取链接，这将整个问题简化为仅解析所有链接的下拉列表。

我现在唯一遇到的小问题是如何正确解析它。目前正在尝试找到该网站的选择元素，但我对此还是很陌生。

#Gets all the url's for each chapter
urllist = []
starturl = "http://www.bimanga.com/2015/05/read-manga-tokyo-ghoul-re-chapter-01.html"
response = requests.get(starturl)
html = response.content
soup = BeautifulSoup(html, "html.parser")
for option in soup.findAll('option'):
    #urllist.append(option["value"])
    print(option["value"]) #Debugging

Answer 1

可以从您在此处看到的下拉列表中获取年份和月份：http://i.imgur.com/pvKgnDw.png

解析下拉列表（select 元素）并获取链接。那么你可能甚至不需要从年和月构造 url。下拉列表可能包含该章节的整个 url。