Scraper 不提供完整的 html 内容 [关闭]

【问题标题】：Scraper does not provide full html content [closed]Scraper 不提供完整的 html 内容 [关闭]
【发布时间】：2022-01-24 02:48:12
【问题描述】：

我想获取那里出现的不同火车站（Cádiz、San Severiano、Segunda Aguada、...、Aeropuerto de Jerez），但 BeutifulSoup 和 urllib 都没有帮助我，因为他们不下载完整的 html，而是他们下载了由于某种原因不包含电台信息的视图源内容。

有什么想法吗？

提前谢谢大家。

【问题讨论】：

【解决方案1】：

您所追求的数据很可能是之后通过 JavaScript 文件插入到 HTML 中的。

因此，您最有可能收集的是原始 HTML 文件，因为 JavaScript 尚未运行（如果您只是请求 HTML 文件，则不会运行）。

可悲的是，我不知道该怎么做，因为这不是微不足道的，而且完全取决于您的环境和使用环境。还是觉得值得一说。为了解决这个问题，我有时会做的是检查 JavaScript 中是否有任何我可以手动调用的 API 调用。但这可能很耗时，而且往往是一个很长的镜头。

但是如果你使用的是“美汤”，也许this 可能是什么？

祝你好运！

【讨论】：