PHP - 优化数千种模式的 preg_match

Question

所以我编写了一个脚本来从原始基因组文件中提取数据，原始基因组文件如下所示：

# rsid  chromosome  position    genotype
rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA
rs11240777  1   798959  AG
rs6681049   1   800007  CC
rs4970383   1   838555  AC
rs4475691   1   846808  CT
rs7537756   1   854250  AG
rs13302982  1   861808  GG
rs1110052   1   873558  TT
rs2272756   1   882033  GG
rs3748597   1   888659  CT
rs13303106  1   891945  AA
rs28415373  1   893981  CC
rs13303010  1   894573  GG
rs6696281   1   903104  CT
rs28391282  1   904165  GG
rs2340592   1   910935  GG

原始文本文件有数十万行，但我只需要特定的行，我需要大约 10,000 行。我有一个 rsid 列表。我只需要每行的基因型。所以我循环遍历 rsid 列表并使用 preg_match 找到我需要的行：

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            // Do something with genotype

        }   

    }   

注意：我删除了很多代码来显示我正在做的正则表达式提取。在进行过程中，我还将每一行插入到数据库中。以下是包含数据库工作的代码：

    $rawData = file_get_contents('genome_file.txt');
    $rsids = $this->get_snps();

    $query = "INSERT INTO wp_genomics_results (file_id,snp_id,genotype,reputation,zygosity) VALUES (?,?,?,?,?)";
    $stmt = $ngdb->prepare($query);

    $stmt->bind_param("iissi", $file_id,$snp_id,$genotype,$reputation,$zygosity);

    $ngdb->query("START TRANSACTION");

    while ($row = $rsids->fetch_assoc()) {

        $searchPattern = "~rs{$row['rsid']}\t(.*?)\t(.*?)\t(.*?)\n~i";

        if (preg_match($searchPattern,$rawData,$matchedGene)) {

            $genotype = $matchedGene[3]);

            $stmt->execute();
            $insert++;

        }   


    }   

    $stmt->close();
    $ngdb->query("COMMIT");

    $snps->free();
    $ngdb->close();

}

不幸的是，我的脚本运行得很慢。运行 50 次迭代需要 17 秒。所以你可以想象运行 18,000 次迭代需要多长时间。我正在寻找优化这一点的方法。

有没有更快的方法从这个巨大的文本文件中提取我需要的数据？如果我将它分解成一个行数组并使用 preg_grep() 会更快吗？

我尝试将所有 18,000 个 rsid 组合成一个表达式（即 (rs123|rs124|rs125)，如下所示：

    $rsids = get_rsids(); 

    $rsid_group = implode('|',$rsids);
    $pattern =  "~({$rsid_group })\t(.*?)\t(.*?)\t(.*?)\n~i";
    preg_match($pattern,$rawData,$matches);

但不幸的是，它给了我一些关于超出 PCRE 表达式限制的错误消息。针太大了。我尝试的另一件事是将 S 修饰符添加到表达式中。我读到这会分析模式以提高性能。它根本没有加快速度。也许模式与它不兼容？

那么我需要尝试和优化的第二件事是数据库插入。我添加了一个交易，希望能加快速度，但它根本没有加快速度。所以我在想也许我应该将插入组合在一起，以便我一次插入多行，而不是单独插入它们。

然后我读到另一个想法，使用 LOAD DATA INFILE 从文本文件加载行。在这种情况下，我只需要先生成一个文本文件。我想知道在这种情况下生成文本文件是否会更快。

编辑：似乎占用最多时间的是正则表达式。单独运行程序的那一部分，需要很长时间。 10 行需要 4 秒。

Answer 1

这很慢，因为您一遍又一遍地搜索大量数据。

看起来您有一个文本文件，而不是 dbms 表，其中包含以下行：

rs4477212   1   82154   AA
rs3094315   1   752566  AG
rs3131972   1   752721  AG
rs12124819  1   776546  AA

看起来你有一些其他的数据结构，其中包含像rs4477212 这样的值列表。我认为这已经在 dbms 的表中了。

我认为您希望精确匹配 rsxxxx 值，而不是前缀或部分匹配。

我认为您想要处理许多不同的原始数据文件，并从每个文件中提取同一批次的rsxxxx 值。

所以，这就是你所做的，用伪代码。不要将整个原始数据文件加载到内存中，而是逐行处理。

1. 从 dbms 中读取您的 rsid 值行，只需一次，并将它们存储在关联数组中。
2. 对于每个原始数据文件....
   1. 对于文件中的每一行数据...
      1. 拆分数据行获取rsid。在 php 中，$array = explode(" ", $line, 2); 将在$array[0] 中生成您的 rsid，并且速度很快。
      2. 在您的 rsid 值数组中查找该值。在 php 中，if ( array_key_exists( $array[0], $rsid_array )) { ... 会这样做。
      3. 如果密钥确实存在，则您有一个匹配项。
      4. 从原始文本行中提取最后一列（'GC 或其他）
      5. 将其写入您的 dbms。

注意这如何避免正则表达式，以及它如何逐行处理您的原始数据。您只需触摸每行原始数据一次。这很好，因为您的原始数据也是您最大的数据量。它利用 php 的关联数组特性来进行匹配。所有这些都将比您的方法快得多。

要加快向表中插入数万行的过程，请阅读此内容。 Optimizing InnoDB Insert Queries

Answer 2

+1 @Ollie Jones 的回答。他在我写答案的时候发了贴。所以这里有一些代码可以帮助您入门。

$rsids = $this->get_snps();
while ($row = $rsids->fetch_assoc()) {
    $key = 'rs' . $row['rsid'];
    $rsidHash[$key] = true;
}

$rawDataFd = fopen('genome_file.txt', 'r');
while ($rawData = fgetcsv($rawDataFd, 80, "\t")) {
    if (array_key_exists($rawData[0], $rsidHash)) {
        $genotype = $rawData[3];
        // do something with genotype
    }
}

Answer 3

我想给出 LOAD DATA INFILE 方法来看看它的效果如何，所以我想出了一个我认为不错的优雅方法，代码如下：

    $file = 'C:/wamp/www/nutri/wp-content/plugins/genomics/genome/test';

    $data_query = "
    LOAD DATA LOCAL INFILE '$file' 
    INTO TABLE wp_genomics_results 
    FIELDS TERMINATED BY '\t' 
    LINES TERMINATED BY '\n' 
    IGNORE 18 ROWS 
    (@rsid,@chromosome,@locus,@genotype) 
    SET file_id = '$file_id', 
        snp_id = (SELECT id FROM wp_pods_snp WHERE rsid = SUBSTR(@rsid,2)), 
        genotype = @genotype
    ";

    $ngdb->query($data_query);

我在 snp_id（这是我的 RSID 表的 ID）列上设置了一个外键限制，以便它只输入我需要的 rsid 的基因型。不幸的是，这种外键限制导致了某种锁定表的错误。呃，好吧。无论如何，这可能不是一个好方法，因为每个基因组文件中平均有 200,000 行。我会选择 Ollie Jones 的方法，因为这似乎是我遇到的最有效和最可行的方法。