浏览器请求和 curl 请求有什么区别？

Question

https://psycnet.apa.org/record/2016-47119-002

当我通过 chrome（在私人窗口中）访问上述 URL 时，我可以看到与以下 curl 命令相对应的第一个请求。但是当我在命令行中调用这个curl命令时，distil网络会检测到它显示<div id="distilIdentificationBlock">&nbsp;</div> 。

这对我来说看起来很奇怪，因为这是第一个请求。除非 curl 和 chrome 发送的请求之间存在差异，否则 distil 网络无法判断机器人或真实浏览器发送的请求是什么。有人知道 curl 请求和 chrome 请求有什么区别吗？

curl 'https://psycnet.apa.org/record/2016-47119-002' \
  -H 'Connection: keep-alive' \
  -H 'Pragma: no-cache' \
  -H 'Cache-Control: no-cache' \
  -H 'Upgrade-Insecure-Requests: 1' \
  -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36' \
  -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \
  -H 'Sec-Fetch-Site: none' \
  -H 'Sec-Fetch-Mode: navigate' \
  -H 'Sec-Fetch-User: ?1' \
  -H 'Sec-Fetch-Dest: document' \
  -H 'Accept-Language: en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7' \
  --compressed

附：如果我使用firefox提取相应的curl命令，问题是一样的。所以firefox请求和curl请求的区别也有关系。

Answer 1

没有区别。

要了解 Distill（他们的网络抓取保护系统）的工作原理，您需要查看初始响应 HTML：

当我在 Chrome 中发出请求并查看开发工具中的初始响应（确保选中“保留日志”）时，我看到响应实际上是一个简短的网页，其中包含一个嵌入的 <script>执行一些简单的“这个用户代理是网络浏览器吗？”检查，例如运行脚本来查找 Web 浏览器之外不存在的 JavaScript DOM 对象（假设 HTTP 用户代理完全能够运行脚本 - cURL 和 wget 不是，通过方式）。

如果脚本认为你的用户代理是一个网络浏览器，那么它会使用动态生成的密码对真实内容执行另一个请求（我没有查看详细信息那个有效） - 这就是为什么您不能使用 cURL 或 wget 重新请求真实内容的原因，因为每个请求的密码都是唯一的。

这是初始页面响应中<script> 元素的屏幕截图，请注意页面的 HTML 中缺少真实的实际内容。

如果您在浏览器中禁用 JavaScript，您将根本无法访问该网页。

这种反抓取系统保护网页免受来自缺乏评估 JavaScript 方法的用户代理的请求 - 因此它将阻止 curl、wget、HttpClient 和浏览器内 @987654332 @/XMLHttpRequests（至少没有进一步的工作）。

您可能认为该系统会使网站无法被搜索引擎蜘蛛索引 - 但这是一种古老（且根深蒂固）的信念和做法：因为直到 2000 年代后期，主要的搜索引擎蜘蛛（Google、Bing/ Windows Live Search、Yahoo 等）只对原始 HTML 进行索引，并且不运行 JavaScript——但从那时起，搜索引擎蜘蛛开始运行 JavaScript，甚至开始索引网站，而不是使用自定义构建的蜘蛛 HTML 解析器引擎，而是使用实际的 web-浏览器引擎（Google 真正启动了它，以便他们可以索引脚本繁重的网站，尤其是使用 Angular、Vue 等的单页应用程序）。当我在 Microsoft 工作时，我必须将 Bing 爬虫系统用于一些产品研究项目，并使用 Internet Explorer 的特殊版本来“运行”它访问的网页。