【问题标题】:Fastest way to code up hitting a URL编码访问 URL 的最快方法
【发布时间】:2011-01-22 06:52:46
【问题描述】:

我需要登录一个站点,然后点击某个 URL 大约一千次(当然,使用不同的参数)。

网址是这样的:

http://www.foo.com/bar.asp?id=x    ' where x is the ID

当然,如果我只是在没有被记录的情况下点击 URL,它会失败。 我对这类工作不是很熟悉,但我想无论我选择哪种方法,它都必须支持cookie。

我在想我可以创建一个带有浏览器控件的 winform 应用程序并以某种方式驱动它,但这似乎是一个巨大的矫枉过正。

有没有更好的办法?

【问题讨论】:

标签: c# webbrowser-control web-crawler


【解决方案1】:

如果您决心在您的代码中执行此操作,那么我认为没有任何事情阻止您这样做。 HttpRequest 和 HttpResponse 类几乎拥有你需要做的一切。


此外,如果您担心 cookie,那么您始终可以将收到的 cookie 存储在数据库或文件中,并在每个后续请求中发送它们。
如果你想知道Http Request like a GET request then look here 的结构。
您还可以通过指定正确的请求标头使您的请求看起来像来自浏览器的请求......(但它并非每次都有效)

这一切甚至可以在控制台应用程序中完成

【讨论】:

    【解决方案2】:

    如果您主要对服务器在负载下的性能感兴趣,您可能需要查看WCAT

    【讨论】:

      【解决方案3】:

      使用 Python 或 PHP,您可以使用 libcURL 库,我相信它们都有针对这些语言的绑定。如果没有,只需使用 urllib2 模块(用于 Python)。

      【讨论】:

      • 嗯,是的,我看到了 C# 标签,但还以为他在问一般。如果你需要 C#,我认为也有一个绑定。
      猜你喜欢
      • 2013-10-16
      • 2023-03-30
      • 2012-01-19
      • 2017-12-11
      • 1970-01-01
      • 2011-01-23
      • 1970-01-01
      • 1970-01-01
      • 2014-06-15
      相关资源
      最近更新 更多