被阻止从python中的网站抓取数据

Question

我是网络抓取和构建爬虫的新手，我开始在杂货网站上练习。

我已经尝试从网站抓取数据很长一段时间了，但无法通过超过三页，对于前三页，网站让我访问数据，但之后我没有得到任何响应甚至几秒钟我也停止在浏览器上得到响应。该网站使用 API 来获取所有数据，所以我什至不能使用 BeautifulSoup，我想使用 selenium，但也没有运气。 我正在使用 python 的 requests 库来获取要解析的数据和 json。该网站需要 post 方法来访问所有产品，因此我也发送 cookie、标题和参数，并在下一页也使用相同的 cookie 等。

如果有人遇到同样的情况并可能找到解决方法，我正在寻找一些一般性的回应。

谢谢。

Answer 1

您可以通过以下方式取消阻止该网站。 （抱歉，无法提供代码，因为没有我的位置详细信息可能无法运行。所以尝试我说的方法获取代码）。

1. 在 Google Chrome 中打开该链接 > 按 Ctrl + Shift + I 打开开发者工具 > 转到网络选项卡。在那里，去 XMR 并找到“详细信息”。这看起来像：

1. 右键单击它，将其复制为 Bash Curl。
2. 转到Curl to Requests，粘贴代码，然后按Enter。 curl 被转换为请求。复制并运行。
3. 在这里，最后一行将是：

response = requests.post('https://www.kroger.com/products/api/products/details', headers=headers, cookies=cookies, data=data)

这会处理请求。 4. 在这之后，当我们提取我们需要的东西时：

data = response.json() # saving as a dictionary

product = data['products'] # getting the product

5. 现在从这些抓取的数据中获取您需要的任何内容。快乐编码:)