【发布时间】：2020-05-10 09:38:55
【问题描述】：
我正在尝试抓取 URL 中带有 ?, =, # 的网站。当我这样做时，我会被重定向。我想我已经将问题字符缩小到#。我认为它正在尝试对# 进行百分比编码。在我的情况下，它不是一个锚，它在许多页面上排序项目
编辑：我认为是 requests 导致了错误，并且 # 通常是客户端专用参数，不会发送到服务器
工作网址
www.foo.com/
www.foo.com/example
www.foo.com/example/search?q=&%5B%5D
错误的 URL（即使在浏览器中也会拉出相同的无错误页面）
www.foo.com/example/#page1
www.foo.com/example/%23page1（百分比编码#）
www.foo.com/example/something_that_does_not_exsit
response = requests.get(r"www.foo.com/example/#page1")
response.url
soup = BeautifulSoup(response.text, 'html.parser')
【问题讨论】：
标签： python-3.x url beautifulsoup