【发布时间】:2017-01-05 18:54:16
【问题描述】:
我在我的 Ubuntu 14.04 x86_64 上使用以下方案实现了一个分叉 HTTP 代理(我报告基本代码和伪代码只是为了展示这个概念):
-
socketClient = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP); -
bind(socketClient,(struct sockaddr*)&addr, sizeof(addr)); -
listen(socketClient, 50); -
newSocket = accept(socketClient, (struct sockaddr*)&cliAddr, sizeof(cliAddr)); - 从客户端获取请求,解析它以解析IP地址中请求的主机名;
-
fork(),打开与远程服务器的连接并处理请求; - 子进程:如果是
GET请求,则将原始请求发送到服务器,在服务器发送数据时,将数据从服务器发送到客户端; - 子进程:否则如果是
CONNECT请求,则发送字符串200 ok给客户端并使用select()轮询客户端套接字描述符和服务器套接字描述符;如果我从服务器套接字读取数据,则将此数据发送到客户端;否则,如果我从客户端套接字读取数据,则将此数据发送到服务器。
好消息是这个代理可以工作,坏消息是现在我必须收集统计数据;这很糟糕,因为我的工作水平无法获得我感兴趣的数据。我不关心有效负载,我只需要检查我关心的标志的 IP 和 TCP 标头。
例如,我感兴趣:
- 连接跟踪;
- 发送和接收的数据包数。
至于第一个,我会在 TCP 标头中检查 SYN 标志、SYN/ACK,然后是最后一个 ACK;至于第二个,当我send() 或recv() 一个完整的数据包时,每次char buffer[1500] 充满数据时,我都会对我的计数器做+1。
我意识到这是不正确的:SOCK_STREAM 没有数据包的概念,它只是一个连续的字节流!我在第 7 点和第 8 点使用的 char buffer[1500] 具有有用的统计信息,我可以将其容量设置为 4096 字节,但我无法跟踪发送或接收的 TCP 数据包,因为 TCP 有 segments em>,而不是 数据包。
我也无法解析 char buffer[] 在 TCP 标头中寻找 SYN 标志,因为 IP 和 TCP 标头已从标头中剥离(因为我正在处理的级别,使用 IPPROTO_TCP 标志指定)和,如果我理解得很好,char buffer[] 只包含有效载荷,对我没用。
所以,如果我的工作水平太高,我应该降低:一旦我看到一个简单的raw 套接字嗅探器,其中unsigned char buffer[65535] 被转换为struct ethhdr, iphdt, tcphdr,它可以看到所有 所有标头的标志,所有我感兴趣的统计数据!
高兴之后,失望:由于raw 套接字工作在低级别,它们没有一些对我的代理至关重要的概念; raw 套接字不能 bind、listen 和 accept;我的代理正在侦听固定端口,但raw 套接字不知道端口是什么,它属于 TCP 级别,它们 bind 与 setsockopt 指定接口。
所以,如果我使用 socket(PF_INET, SOCK_RAW, ntohs(ETH_P_ALL)),我应该能够解析我在 0.7 和 0.8 处 recv() 和 send() 的缓冲区,但我应该使用 recvfrom() 和 sendto()...但这一切听起来很混乱,它包含了对我的代码的很好的重构。
如何保持我的代理结构完整(bind, listen, accept 到固定端口和接口)并增加我对 IP 和 TCP 标头的视野?
【问题讨论】:
-
我将编辑问题以获取更多详细信息。
-
完全不可能通过 HTTP 代理获得任何 UDP。
-
为什么不想使用专用的嗅探器,比如wireshark?您可以嗅探特定接口上的所有流量,然后按协议和端口号进行过滤。您还可以使用原始套接字方法编写自己的嗅探器:binarytides.com/packet-sniffer-code-c-linux
-
您创建的需求似乎与您的项目设计大相径庭。您确定需要了解特定的数据包流量吗?为什么你认为你需要那个?如果您的应用程序是绑定到此接口的唯一流量,您可以映射到本地接口并查询这些统计信息。
-
或者,您可以破解内核代码以打印导出所有您想要的东西,假设您将有权使用您的应用程序运行自定义内核(可加载模块也可能就足够了,取决于你到底想做什么)。
标签: c sockets networking http-proxy packets