根据用户输入的表单数据进行网页抓取

Question

当我要求告诉网站背后的逻辑来抓取https://www.astroyogi.com/kundli/kundli-matching时，我感到很惊讶。我不知道如何填写详细信息并转到下一页。

Answer 1

您可以通过多种方式做到这一点。首先，您可以使用selenium 来控制您的网络浏览器，填写表格然后点击按钮。其次，您还可以使用requests 库通过POST 请求发送必要的数据。最后，您还可以使用Scrapy 作为库来帮助您抓取网站。