【发布时间】:2012-06-10 12:28:15
【问题描述】:
我正在编写一个可能需要半天时间的脚本,因为它从一个网站的大约 14000 个网页中获取数据。
要知道它是否有进展,有什么方法可以观察它的执行情况,即使用 mac os shell 到每个抓取页面的传出连接?
如果有帮助的话,我正在使用 curl 获取页面内容。
非常感谢! 查尔斯
编辑 该脚本是用 php 编写并从 localhost 执行的。
【问题讨论】:
-
嗯,这不会是针对...bandliste.de,是吗?我希望此活动得到您正在执行此操作的网站的批准。
-
@JaredFarrish 谢谢你的帮助
-
如果你经营一个网站,你有很多信息,如果有人突然点击它并试图下载整个网站,而你不知道它是谁或他们是谁,你会高兴吗取决于?还是突然发现它在别处复制?
-
当然,您在这项工作中最大的问题可能是您选择使用 PHP 来完成它。无论如何,this answer 可能会指出一些有用的东西。
-
@JaredFarrish 谢谢!这很有用。
标签: php shell connection execution