如何从 <select> 标记中抓取更改内容的网页

Question

我想抓取一个通过<select> 标签更改其内容的网页。当我选择不同的选项时，页面的内容会动态变化。我想知道是否有一种方法可以从 python 脚本更改选项，以便我可以从<select> 标记中所有不同选项的所有不同页面获取内容。

Answer 1

我假设您使用像 urllib 这样的库来进行抓取。您已经知道网站的内容会动态变化。我还假设动态内容使用服务器端交互。这意味着，使用 javascript (ajax) 浏览器根据选择的值从服务器请求新数据）。

如果是这样，那么您可以尝试在您的网络抓取库中模拟对服务器的 ajax 调用。

1. 首先，使用浏览器调试工具找出正在调用的服务器的 url。
2. 在ajax调用中拆分参数部分
3. 执行相同的调用以查找 select 标记中的选项。

Answer 2

As @Tichodroma said, when the select is changed, either:

1. 以前隐藏在页面上的某些内容变得可见，或者：
2. 进行 ajax 调用以检索一些附加内容并将其添加到 DOM 中

在这两种情况下，都涉及到 JavaScript。看看它，根据发生的情况（案例 #1 或 #2），您应该：

1. 抓取整个页面，因为您想要的所有内容都已经在其中，或者：
2. 对通常使用 ajax 调用的文件进行多次调用，以检索 <select> 的每个值所需的内容