使用 Curl 下载 HTML 进行解析的问题

Question

我一直在尝试从 TikTok 下载一些信息，以绘制一些信息，例如浏览量和点赞等等。

我查看了在 CMD 终端中使用 curl 会收到哪些信息，其中包含以下信息：

mycurl> curl -k https://www.tiktok.com/@liamferrari/video/6816604410496519429

我收到以下输出：

{"statusCode":200,"contentType":"application/json","content":""}

但是，当我在几乎任何其他网页上使用 curl 时，我都会收到预期的完整 HTML 代码。

我没有收到来自网页的 HTML 代码是否有明显的原因？当我打开 Web 控制台时，我可以看到我尝试使用 curl 访问的 HTML 信息。

如果有人能提供任何见解，那就太好了。

问候

后卫

Answer 1

看起来 TikTok 需要指定用户代理（此处使用 Firefox），

curl -A "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:59.0) Gecko/20100101 Firefox/59.0" -k https://www.tiktok.com/@liamferrari/video/681660441049651

请注意，他们很可能会对此进行过滤以减少抓取，这样做可能违反他们的 EULA。