如何在 C# 中监控 HTTP 流量并获取 URL 列表？答案

【问题标题】：How can I Monitor HTTP Traffic and Get a List of URLs in C#?如何在 C# 中监控 HTTP 流量并获取 URL 列表？
【发布时间】：2011-10-06 07:53:46
【问题描述】：

基本上，我们公司现在正在做的就是在 Firefox 中使用 HttpFox 手动获取 webtrends 标签和值，这些标签和值作为查询字符串附加到图像/gif 类型 url 中，每当我们在浏览器。启动插件并转到特定 URL 后，会在 HttpFox url 列表中显示一个 URL 列表。其中一个 URL 包含我们需要的查询字符串，然后我们将该列表复制到 Excel 文件中。因此，如果有 2000 页要获取，我们打开这 2000 页，并一一进行复制和粘贴。

这导致我的任务是通过 C# 编写一个程序来自动化“标签收集”，该程序在输入特定 url 后进行嗅探/监控。我将提供一个要读取的 url 列表，程序将进行监控，获取数据，并将数据记录到数据库中。

我的问题是如何在我输入特定 URL 后使用 C# 获取该 URL 列表 - 像 fiddler 和 httpfox 一样，但不应该依赖于浏览器。

顺便说一句，Fiddler 和 HttpFox 都可以完成我需要的工作，但我认为我们不能为 fiddler 提供要嗅探的 url 列表。 HttpFox 不错，但是只能通过 firefox 运行，adn 导入太手动了。

HttpFox 没有该 URL“列表”的名称，但在 Fiddler 下，它被命名为“Web 会话”。希望这篇文章可以帮助您更多地了解我的问题。

我已经查看了 HttpListener 和 HttpWebRequest 但似乎无法获得我正在寻找的结果。

任何帮助将不胜感激。 :)

【问题讨论】：

标签： c# fiddler request-headers httpfox

【解决方案1】：

您可以将 Fiddler 作为 .NET 库嵌入，并将其作为应用程序的一部分运行：http://fiddler.wikidot.com/fiddlercore

【讨论】：

嗨皮斯克沃尔！谢谢！看起来 FiddlerCore 是我需要的东西。 :) 问题是我不知道如何在我的 VS2010 中为特定项目“设置”FiddlerCore。在此先感谢您的帮助！ :)
嗨，piskvor！我已经制作了一个使用 FiddlerCore 的应用程序，我重新编写了控制台演示应用程序并使用 FiddlerCore 制作了一个 WinForms 应用程序。以前用过 FiddlerCore 吗？因为你可以帮我解决我的其他问题。有没有办法 FiddlerCore 可以判断某个网页何时完成加载？ - 这样我就可以打开另一个网页，清除旧会话列表，然后扫描网络会话以查找我需要的文件。
我差点忘了。你对第一个问题很有帮助。非常感谢！我已经为这个问题挠头一个多星期了，这就是我目前在公司的任务。多谢。 :)
@dev.bonski：不客气；您可能想将您的第二个问题作为一个单独的问题发布；人们更有可能看到它。
是否有任何具有操作系统许可证的非商业产品可用？ Fiddler 核心将在生产环境中产生成本