带有 JS 事件的网页抓取页面 [关闭]

Question

我正在尝试从 allmusic.com 获取 2018 年发行的单曲列表。

进入他们的高级搜索页面并输入这些参数很容易，但是我必须手动复制和粘贴信息。所有信息都在 html 中，但它是通过单击搜索按钮和页面导航按钮生成的。 url 本身不会改变。这使我无法通过我有限的美丽汤技能爬行。

有谁知道如何抓取java脚本生成的html？

Answer 1

如果不查看特定网站的详细信息，我想您需要找出 JS 代码发出的 HTTP 请求并从那里向后工作。 首先检查网络调用（例如，在 Chrome DevTools 中，只需查看“网络”选项卡），然后编写一些内容来进行相同的调用以检索数据。