【问题标题】:Perl: Smartest and fastest way for (dividing) large script?Perl:(划分)大型脚本的最聪明和最快的方法?
【发布时间】:2013-06-28 23:13:11
【问题描述】:

我有一个 Perl 脚本,它(截至目前)有 10 个订阅者并且还在增长..

每个 sub 都在进行不同的 LWP-Call,并使用我在第一个 sub 中设置的变量。

由于每个 sub 都需要一些时间,我正在寻找一种聪明的方法来使脚本运行得更快。

你会推荐什么?

我应该:

  • 将每个 sub 放入单独的脚本中?
  • 立即呼叫潜艇(第一个除外)?
  • 使用不同的解决方案(我不知道)?

提前致谢!

编辑: 该脚本正在从网络上获取一些 xml 和 soap-data,然后提取必要的部分。

【问题讨论】:

  • 脚本中的 10 个子例程并不多。除非脚本很大(数千行),否则拆分脚本不会显着影响运行时间。如果没有更多关于脚本在做什么以及它是如何做的详细信息,很难提供更多帮助。

标签: perl perl-module subroutine


【解决方案1】:

您可能需要检查LWP::Parallel 模块。

ParallelUserAgent 是现有 libwww 模块的扩展。它 允许您获取 URL 列表(目前支持 HTTP、FTP、 和文件 URL。 HTTPS 也可以工作)并连接到所有这些 in 并行,然后等待结果进来。

【讨论】:

  • 谢谢,它最适合我的需要
【解决方案2】:

如果您不想,您不必拆分文件。只需列出要在 STDIN 上运行的内容,然后多次执行脚本,将每个进程置于后台,或者使用 cron 如果它正在进行中。

我建议您使用操作系统的进程,直到您有充分的理由不再这样做为止。

【讨论】:

  • 我相信这会比其他解决方案使用更多的内存。总之谢谢
  • 这是什么意思,是什么让你相信它?内存使用量是在一段时间内测量的。如果您绘制其中一个进程的内存使用情况图表,您将看到内存使用情况继续增长,直到进程退出 - 无论需要多长时间。如果将工作拆分为单独的操作系统进程,则总体上可能会使用更多内存。但是对于每个进程,您将在短时间内使用少量内存。此外,如果将来您遇到内存/磁盘 IO/网络的一些限制,添加新节点将很容易。
【解决方案3】:

我已经成功使用 Coro,并且已经有一个模块可以执行 LWP 请求。

http://metacpan.org/pod/LWP::Protocol::Coro::http

Coro 是协作例程,因此不是多线程的。还有一个 AnyEvent 变体

【讨论】:

  • 非常感谢,但我更喜欢 LWP::Parallel 模块。
猜你喜欢
  • 2016-01-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2019-08-24
  • 2021-02-19
  • 2017-07-18
  • 2016-03-29
  • 1970-01-01
相关资源
最近更新 更多