【发布时间】:2018-04-17 09:13:13
【问题描述】:
我说的是基本的 HTTP GET 请求。据了解,浏览器在 HTTP 请求中发送请求标头(包括 cookie、用户代理等)。服务器还能够查看原始 IP 地址、请求 URL、请求方法。他们还可以使用哪些其他信息来获取有关用户硬件、软件和其他属性的信息?
【问题讨论】:
标签: http web-scraping http-headers
我说的是基本的 HTTP GET 请求。据了解,浏览器在 HTTP 请求中发送请求标头(包括 cookie、用户代理等)。服务器还能够查看原始 IP 地址、请求 URL、请求方法。他们还可以使用哪些其他信息来获取有关用户硬件、软件和其他属性的信息?
【问题讨论】:
标签: http web-scraping http-headers
以下是 4 个非常标准的用户代理标头。我使用像this one 这样的在线用户代理解析器工具来获取操作系统和浏览器。如果您自己尝试该工具,您会看到这些用户代理标头提供了更多信息。
请注意,总是有可能有人欺骗用户代理标头。例如,如果他们使用 Python 脚本发送请求,他们可以将默认用户代理更改为以下任何一种。
Windows 7 上的 Internet Explorer 11:
Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko
达尔文的Safari:
Safari/13604.1.38.1.6 CFNetwork/887 Darwin/17.0.0 (x86_64)
Windows 7 上的 Internet Explorer 10:
Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)
Windows 10 上的 Edge 38:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393
【讨论】: