curl 和 wget 的限制答案

【问题标题】：Limitations of curl and wgetcurl 和 wget 的限制
【发布时间】：2021-01-31 21:21:43
【问题描述】：

我想知道为什么某些 URL 可以在浏览器选项卡中轻松加载，但使用 wget 和 curl 等工具会超时。
这是一个示例 URL：
https://www.nasdaq.com/market-activity/stocks/gme/news-headlines

我曾尝试使用curl 和wget 为该网页创建下载脚本，但没有成功（即它们都挂断了）。

wget --adjust-extension -t 2 -U 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' "https://www.nasdaq.com/market-activity/stocks/gme/news-headlines" -O gme.html

wget --adjust-extension -t 2 -U 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' "www.nasdaq.com/market-activity/stocks/gme/news-headlines" -O gme.html

curl -o 01.html https://www.nasdaq.com/market-activity/stocks/gme/news-headlines

curl -o 01.html www.nasdaq.com/market-activity/stocks/gme/news-headlines

【问题讨论】：

标签： curl wget

【解决方案1】：

当页面加载时，您首先会看到一个空白框，然后会显示新闻和价格。这是因为页面上的 javascript 正在对信息进行 API 调用。 Curl 和 wget 不运行任何 javascript，只是下载页面的内容，这就是为什么你什么都看不到的原因。你必须找到实际的 api 调用，然后下载它。

【讨论】：