捕获和分析流量

Question

有几个网站对我来说有重要数据，但没有 API 函数来检索这些数据。我想获得这些信息，而且我想创建自己的 API。

第一个问题是这些网站将数据存储在其登录页面后面，因此我必须先进入那里才能检索这些数据。

需要说明的是，网站使用 JS 来检索数据并发送回查询，并且还有 SSL 协议，所以所有流量都是加密的。

我的想法是

1. 使用 Wireshark 捕获流量。
2. 破译它。
3. 仔细查看包裹。
4. 这就是问题所在。有什么工具可以重建 TCP 会话吗？

最后。我是否可以创建某种 API 来伪造 TCP 会话，并且 Web 服务器会将此会话识别为与真实浏览器的会话，或者这是不可能的？我读过硒，但它需要太多的系统资源。

Answer 1

从浏览器开发工具中读取数据更容易。它们允许您查看完整的请求数据和响应。

那么，模拟一个浏览器，你只需要发送一个类似的请求，同样的cookies和user agent，和真实的浏览器没有区别。

在现代浏览器（例如 Firefox 或 Chrome）中，您可以转到开发人员工具上的“网络”选项卡并将请求导出为 curl 命令，以便稍后从命令行发送相同的请求。