优化数组合并操作

Question

如果有任何帮助，我将不胜感激。

我有 7 个单独的数组，大约有 7 个数组。每个数组中有 90,000 个数字（我们称它们为数组 1-数组 7）。每个数组本身没有重复的数字。但是，数组之间可能存在重复。例如，array2 没有重复项，但可以与 arrays3 和 arrays4 有相同的数字。

问题： 我试图识别所有 7 个数组合并后重复 3 次的所有数字。

我必须做这个计算 1000 次，它需要 15 分钟，但这不行，因为我必须运行它 40 次 -- 代码：

如果您知道最适合此类计算的另一种语言，请告诉我。任何扩展建议，例如 redis 或 gearman 都有帮助。

for($kj=1; $kj<=1000; $kj++)
    {
$result=array_merge($files_array1,$files_array2,$files_array3,$files_array4,$files_array5,$files_array6,$files_array7);

$result=array_count_values($result);

$fp_lines = fopen("equalTo3.txt", "w");

foreach($result as $key => $val)
{
    if($result[$key]==3)
    {
    fwrite($fp_lines, $key."\r\n");
    }
}
fclose($fp_lines);
}

我也用字符串尝试了下面的代码，但是 array_map 调用和 array_count 值调用需要 17 分钟：

for($kj=1; $kj<=1000; $kj++)
    {

$result='';

for ($ii = 0; $ii< 7; $ii++) {
    $result .= $files_array[$hello_won[$ii]].'\r\n';
}

$result2=explode("\n",$result);//5mins
$result2=array_map("trim",$result2);//11mins
$result2=array_count_values($result2);//4-6mins

$fp_lines = fopen("equalTo3.txt", "w");

foreach($result2 as $key => $val)
{

    if($result2[$key]==3)
    {
    fwrite($fp_lines, $key."\r\n");
    }
}
fclose($fp_lines);

unset($result2);

Answer 1

我建议更换

foreach($result as $key => $val)
{
    if($result[$key]==3)
    {
    fwrite($fp_lines, $key."\r\n");
    }
}

类似的东西

$res = array_keys(array_filter($result, function($val){return $val == 3;}));
fwrite($fp_lines, implode("\r\n", $res));

Answer 2

array_merge() 在数组中有更多元素时会明显变慢，因为（来自php.net）：

如果输入数组有相同的字符串键，那么后面的值 因为该键将覆盖前一个键。但是，如果数组 包含数字键，后面的值不会覆盖原来的 值，但会被附加。

输入数组中带有数字键的值将重新编号为 在结果数组中从零开始递增键。

所以这个函数实际上是在做一些条件语句。您可以将数组合并替换为正常添加，由循环（foreach 或任何其他）和[] 运算符组成。你可以写一个模仿array_merge的函数，比如（使用引用不复制数组..）：

function imitateMerge(&$array1, &$array2) {
    foreach($array2 as $i) {
        $array1[] = $i;
    }
}

你会看到速度的提升真的很难。

Answer 3

这可能都是错误的，看看最后的编辑

我也认为array_merge 是问题所在，但我的建议是实施 一个函数直接计算几个数组中的值，而不是先合并。 这在一定程度上取决于您的阵列中有多少重叠。如果重叠 非常小，那么这可能不会比合并快多少，但有显着 重叠（rand(0, 200000) 在我尝试时填充数组）这会快得多。

function arrValues($arrs) {
    $values = array();

    foreach($arrs as $arr) {
        foreach($arr as $key => $val) {
            if(array_key_exists($key, $values)) {
                $values[$val]++;
            } else {
                $values[$val] = 1;
            }
        }
    }
    return $values;
}

var_dump(arrValues(array
    ($files_array1
    ,$files_array2
    ,$files_array3
    ,$files_array4
    ,$files_array5
    ,$files_array6
    ,$files_array7
    )));

在我的机器上计算大约需要 0.5 秒，然后再打印 2 秒。

-编辑-

我也不清楚为什么你做同样的事情 1000 次？数组是否不同 每次还是什么？说一下原因可能会给人们更多的想法……

-再次编辑-

经过更多探索，我认为 array_merge 不再有错。你不 有足够的重叠可以从直接计算所有内容中受益匪浅。你 调查您机器上的可用内存？对我来说，将 7 个数组与 90k 个元素合并 每个需要〜250M。如果您允许 php 使用这么多内存，我假设您 有，因为你没有得到任何分配错误，那么问题可能是内存 根本不可用，并且您会遇到很多页面错误？如果这不是问题，那么 在什么样的机器上，你使用的是什么 php 版本？我测试了你的 5.5 和 5.4 上的原始代码并修复内存问题，它也可以在大约 0.5 秒内运行。那 每次迭代都会提醒你。现在，如果您在同一个 php 脚本中执行此操作 1000 次，那么 这需要一段时间。考虑到您每次都分配所有这些内存，更是如此。

我认为您确实应该考虑将内容放入数据库中。鉴于您的数字，您似乎总共有约 5 亿行。这在 php 中处理起来非常麻烦。数据库使事情变得简单。