Scrapy和可用的可能性

Question

我正在研究网络抓取/抓取的可能性，并且一直在阅读 Scrapy 程序。我想知道是否有人知道是否可以在脚本中输入指令，这样一旦访问了 url，它就可以从网站上的日历中选择预先选择的日期。 ? 最终结果是用于在 Trivago 等网站上进行价格比较。我希望我可以让程序像人类一样在网站上选择某些标准，例如日期。

谢谢， 亚历克斯

Answer 1

理论上，对于像 Trivago 这样的网站，您可以使用 URL 设置要查询的日期，但您需要研究用户代理和代理，否则您的 IP 将很快被列入黑名单。