使用启用了 Cookie 的 Python 请求进行 Web 爬网

Question

我正在尝试抓取此特定网页： https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets

使用以下代码行：

page = requests.get("https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets")

但是，该页面带有默认的“表格”视图。但是我要抓取的网页是启用“列表视图”的情况下。如何请求启用“列表”视图的网页，如下图所示：

Answer 1

通过谷歌浏览器的网络标签，在我看来，这个网站通过设置 cookie 知道显示哪个视图，所以如果你想以列表的形式查看，你可以在请求中设置这个 cookie。

requests.get("https://www.grainger.com/category/abrasives/abrasive-blasting/abrasive-blasting-cabinets", cookies={'pv':'list'})

以后您可以查看this reference，以帮助您了解浏览时实际发生的情况。