如何使用 Java 从 cookie 驱动的网站获取网页源

Question

如果有一个常规的url，很容易获得网页源。

这是一个答案： How to get a web page's source code from Java

但有些网站，比如 Sobeys。他们要求您先输入您的位置，然后您可以获得不同位置的不同传单。似乎它正在根据您的喜好设置 cookie，然后您可以在关闭浏览器之前获得相同的传单内容。

我的问题是，对于这种网页，我如何使用 Java 获取特定传单的网页源（例如我想从多伦多 Danforth 的 Sobeys 获取 flayer）？我不能使用https://www.sobeys.com/en/flyer，因为它似乎一直都是一样的。但是如何获取传单的特定网页源？

Answer 1

尝试使用java访问https://www.sobeys.com/en/stores/sobeys-danforth/preferred，因为它设置了你想要的cookie，否则返回这个cookie

_carrot-core_session=bCt5WnJadHluUWdlbEVPYkVmb3JQbDc1a2dLWHFYUWw5NlVFVUtUblpRRHJLUEEyZ1MzamN2UjVIWGlSZzBEZDlDUTRxM2JkaEpZeUdNVHh2NUFvVjVxQWM4L015Zm1kaG5wVU5nUytocGRhdzhFMGZvc0pFM090ek41OTVVTy96d2ovTmNBOEdqUDk2dmllUjZoR1BDMEF3S2VCR21SM2thMmlidW01UmIyWmNaRm5sbEZkMjNhRElmakpLd3NvUGxPUTcvdDdlZTZ2UGFWN3BucXZUNkxwWW5ENjZ1TEc1WFpmTlBIT2JsODBkNlI4VHV0S3BuZy81b1JRdytoOS0tdGFpWUIydDNRb1BCeWJPN2psbGxkQT09--b4e4aab475a9d016944bcf0e1207c561e7568b78; domain=.sobeys.com; path=/; HttpOnly

试试看这里： How to set Cookies at Http Get method using Java

对不起，我不能再帮忙了。