使用 curl 时如何正确处理压缩页面？

Question

我编写了一个 bash 脚本，它使用 curl 从网站获取输出，并对 html 输出进行一系列字符串操作。问题是当我对一个返回其输出 gzip 的站点运行它时。在浏览器中访问该站点可以正常工作。

当我手动运行 curl 时，我得到 gzipped 输出：

$ curl "http://example.com"

这是该特定网站的标题：

HTTP/1.1 200 OK
Server: nginx
Content-Type: text/html; charset=utf-8
X-Powered-By: PHP/5.2.17
Last-Modified: Sat, 03 Dec 2011 00:07:57 GMT
ETag: "6c38e1154f32dbd9ba211db8ad189b27"
Expires: Sun, 19 Nov 1978 05:00:00 GMT
Cache-Control: must-revalidate
Content-Encoding: gzip
Content-Length: 7796
Date: Sat, 03 Dec 2011 00:46:22 GMT
X-Varnish: 1509870407 1509810501
Age: 504
Via: 1.1 varnish
Connection: keep-alive
X-Cache-Svr: p2137050.pubip.peer1.net
X-Cache: HIT
X-Cache-Hits: 425

我知道返回的数据是 gzip 压缩的，因为这会返回 html，正如预期的那样：

$ curl "http://example.com" | gunzip

我不想通过 gunzip 管道输出，因为脚本在其他站点上按原样运行，而通过 gzip 管道会破坏该功能。

我尝试过的

1. 更改用户代理（我尝试了浏览器发送的相同字符串，“Mozilla/4.0”等）
2. 男人卷曲
3. google search
4. 搜索stackoverflow

一切都是空的

有什么想法吗？

Answer 1

在相关的错误报告 Raw compressed output when not using --compressed but server returns gzip data #2836 中，开发人员说：

服务器不应发送 content-encoding: gzip 没有客户端发出信号表示可以接受。

此外，当您不使用 --compressed 和 curl 时，您会告诉命令行工具您宁愿存储确切的流（压缩与否）。我在这里没有看到 curl 错误...

因此，如果服务器可以发送 gzip 压缩的内容，请使用 --compressed 让 curl 自动解压缩。

Answer 2

如果你设置了--compressed标志，curl会自动解压响应：

curl --compressed "http://example.com"

--压缩 (HTTP) 使用 libcurl 支持的算法之一请求压缩响应，并保存未压缩的文档。如果使用该选项，服务器发送不支持的编码，curl会报错。

gzip 很可能受支持，但您可以通过运行 curl -V 并在“功能”行中的某处查找 libz 来检查：

$ curl -V
...
Protocols: ...
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz 

---

请注意，真正有问题的网站是这里的错误。如果curl 没有传递Accept-Encoding: gzip 请求标头，则服务器不应该发送压缩响应。