如何逐页抓取

Question

我希望抓取 pubMed，但我发现网址不包含页码。

例如，https://www.ncbi.nlm.nih.gov/pubmed?term=(cancer)%20AND%20(%222014%22%5BDate%20-%20Publication%5D%20%3A%20%222017%22%5BDate%20-%20Publication%5D)https://www.ncbi.nlm.nih.gov/pubmed

因此我无法通过更改页码来逃避。

我应该怎么做才能解决这个问题？

谢谢~

Answer 1

您可以通过 POST 请求指定页码：

提供值的元素的名称是：

EntrezSystem2.PEntrez.PubMed.Pubmed_ResultsPanel.Pubmed_Pager.cPage

如果您使用 curl，请将请求更改为 POST 并将上述键添加到发布数据中，将其值设置为您想要的任何页面。您可能必须在 POST 中包含一些其他值才能获得有效的请求，但只需检查页面的源以查看预期的其他值。