Beautifulsoup 和哈希链接#答案

【问题标题】：Beautifulsoup and link with a hash #Beautifulsoup 和哈希链接#
【发布时间】：2017-06-27 00:06:57
【问题描述】：

我在 Python 中使用 Beautifulsoup。我尝试从包含哈希 # 的链接中获取元素。这是一个分页链接，#后面的部分是页码。

它不起作用，我理解问题是因为 urllib2 无法处理这个问题，因为 # 之后的 URL 部分用于客户端处理并且永远不会发送到服务器。

所以我使用 Chrome 中的开发者工具的网络标签检查了真实的 URL，它给了我这个：

看起来服务器根本不喜欢这个 URL，因为它返回给我的空白页面只包含这个奇怪的结果：{"filtersBlock":"\n\n

所以我的问题是，有没有办法用 BeautifulSoup 处理这种链接？

【问题讨论】：

我找到了一种方法，使用 BeautifulSoup 来爬取 DOM 和 Selenium 来处理这些包含 # 的链接。只需使用 driver.get("www.myserver.com/products#/page-2") 将包含 # 的链接传递给 Selenium 驱动程序即可。

【解决方案1】：

我找到了一种方法，使用 BeautifulSoup 来爬取 DOM 和 Selenium 来处理这些包含 # 的链接。只需使用driver.get("www.myserver.com/products#/page-2") 将包含# 的链接传递给Selenium 驱动程序即可。

【讨论】：