在单独的 pcap 文件中捕获网站对象

Question

一个网站通常包含多个对象（例如文本文件、几个 png 文件等），我想知道是否有工具可以捕获不同 pcap 文件中的单个请求/响应？

因此，例如，如果我浏览到 http://somewebsite.com，并且某些 http://somewebsite.com 包含 {index.html, image1.png, somestylefile.css, image2.png}，该工具将捕获 @987654323 的全部负载@ 但生成 {index.html.pcap, image1.png.pcap, somestylefile.css.pcap, image2.png.pcap}

我不知道有什么工具可以做到这一点，或者它可能使用 scapy 或类似的东西？

Answer 1

一个 HTTP 连接可以在同一个 TCP 连接内有多个请求，并且浏览器会大量使用这个 HTTP 保持活动。使用 HTTP 流水线，请求/响应甚至不需要在时间上完全分离，即客户端可以发送另一个请求，即使前一个请求的响应不存在。并且使用 HTTP/2 数据也可以交错，即在同一个连接中同时传输多个响应。

到目前为止，并不总是可以将数据捕获为单独的 pcap 文件，因为它们在数据包级别可能无法分离。但是，如果您不需要原始数据包边界，则可以为每个请求创建单独的 pcap 文件，这些文件不一定反映原始数据包但反映应用层，即与请求匹配的响应。

实现这一点的一个工具是httpflow.pl，它可以从现有 pcap 中提取 HTTP/1.x 请求/响应对（或直接嗅探）并将每个请求/响应写入单独的 pcap 文件，就好像它会是一个单独的 TCP 连接。它还可以清理数据以便于分析，即取消分块和解压缩 HTTP 正文。