使用 webcrawler 获取从异步函数调用的站点上的数据答案

【问题标题】：Using webcrawler to get data on site that's called from asynchronous function使用 webcrawler 获取从异步函数调用的站点上的数据
【发布时间】：2018-08-31 14:24:47
【问题描述】：

我向该站点发送了一个 GET 请求并取回了 html 正文：

https://www.itftennis.com/juniors/tournaments/tournament/info.aspx?tournamentid=1100042329

如果您点击“结果”，则可以点击不同的类别并获取不同的玩家和数据。

但是，数据实际上并不在这个 html 正文中，它是从函数 ajaxLoadTourResults 加载的。反正有没有使用 HTTP 请求来获取这些数据？没有对 eventId 等值进行硬编码？

【问题讨论】：

可能重复：stackoverflow.com/questions/24365154/…
使用python，而不是java。

标签： javascript python html http

【解决方案1】：

你可以使用Puppeteer的Tracing方法来实现，看看：

https://github.com/GoogleChrome/puppeteer/blob/master/docs/api.md#class-tracing

【讨论】：