为具有多卷曲的 CURL 爬虫优化 apache/php

Question

我一直在运行具有 500 个打开连接的多卷曲爬虫。 为了获得最佳性能，您对 apache/php 设置有什么建议吗？

这是我的设置：

<IfModule mpm_prefork_module>
    StartServers          50
    MinSpareServers       50
    MaxSpareServers      100
    MaxClients          1500
    MaxRequestsPerChild   0
</IfModule>

Answer 1

以较小的进程限制启动您的爬虫，然后运行此脚本

ps -C httpd,apache2,apache -o rss --no-header | awk '{a=a+$1; b=b+1} END {print a" "a/b" "b}'

它会显示每个 apache 进程的平均内存使用量。然后你可以根据你的 ram 计算你的结构有多少进程限制。