检查网站是否使用 Perl 或 C 的最快方法是什么？答案

【问题标题】：What's the fastest way to check if a web site is up in Perl or C?检查网站是否使用 Perl 或 C 的最快方法是什么？
【发布时间】：2010-11-05 12:26:43
【问题描述】：

我正在尝试检查网站是否已启动并正在运行。我目前正在使用 Perl 中的 UserAgent 库执行此操作，超时时间为 1。但是，它对我来说仍然太慢了。

我每五分钟从 cron 调用一次脚本。有很多链接要检查，脚本需要五分钟以上才能完成执行。所以，我需要一种更有效的方法来做到这一点。它甚至可以是 C 语言中的解决方案。

【问题讨论】：

标签： c perl unix

【解决方案1】：

以下方法可以加速它：

【讨论】：

【解决方案2】：

这很可能是因为您是按顺序执行的。

考虑使用LWP::Parallel::UserAgent - 它会同时运行许多请求。

【讨论】：

【解决方案3】：

如果有很多链接，我建议你把程序multi-threaded或fork()多做几次。这样，您就可以期待速度的提升。

【讨论】：

【解决方案4】：

用httping怎么样？

【讨论】：

【解决方案5】：

curl -I http://hostname

如果服务不可用或找不到页面，第一行将包含 503 或 404。

时间为 curl -I http://www.google.com 产生了这个

real    0m0.125s
user    0m0.004s
sys     0m0.004s

real    0m0.120s
user    0m0.004s
sys  0m0.004s

【讨论】：

【解决方案6】：

从网络中获取资源通常需要相当长的延迟。

正如 Alan Haggai Alavi 所建议的，您可能希望将工作分配到多个并行线程/进程中。 Parallel::ForkManager 模块的文档甚至有一个您应该能够构建的示例。

【讨论】：

Parallel::ForkManager 不错。
是的，hillu，但我认为我不能使用并行化选项，因为我正在检查网站是否已启动，将特定 png 文件的 url 写入文件。因此，如果我将程序并行化，写入文件时不会有问题吗？
据我了解，hillu 的建议您应该有多个进程/线程，但一个站点应该由一个进程监控（最多）。所以进程之间应该没有冲突。
你为什么不创建一个线程来控制文件并有一个由正在检查站点的其他线程触发的事件？在触发时，他们可以提及哪个站点、延迟、响应等。

【解决方案7】：

我不太了解 C（BLASPHEMY！）或 Perl，但我如何看待它，我会尝试以下方法：

2cts

【讨论】：