如何在 Perl 下用 SQLite 计算很多东西？

Question

我想统计很多字符串（>3G），所以我选择了带有(str TEXT PRIMARY KEY, count INTEGER DEFAULT 1)的表的SQLite。

大约有3G的字符串，每个占40*2/8=10字节，所以整个字符串是30GB。 这10个字节中有2^80种，比3G大很多。

那么如何有效更新呢？

UPDATE table SET count = count + 1 WHERE str = 'xxx';
# check whether rows infected
INSERT INTO table (str) VALUES ('yyy')

或者某事。比如INSERT OR REPLACE，我不太熟悉。

有什么建议吗？

---

我遵循思南乌努尔的方式：

PRAGMA synchronous = OFF;
PRAGMA journal_mode = OFF;
PRAGMA temp_store = MEMORY;
PRAGMA auto_vacuum = NONE;
PRAGMA cache_size = 4000000;
CREATE TABLE kmers ( seq TEXT );

SELECT seq,COUNT(seq) FROM kmers GROUP BY seq;

没有使用索引。自动提交为 0。

我还没有测试journal_mode OFF 是否更快。 temp_store 应该没用。

Answer 1

这真的不是 Perl 问题，而是 SQL 问题。在任何情况下，您都不需要 COUNT 列，因为 SQLite 提供了一个内置的 count 函数来为您进行计数：

SELECT str, countr(str) FROM mytable GROUP BY str

应该给你每个唯一的str 以及它在表格中出现的次数。

当然，如果你定义你的表以str为主键，你不能根据定义插入多个strs，所以你的表结构需要待完善。

更新：

如果我要这样做（我不确定我是否会这样做），我会设置一个表，其中包含一个自动生成的 id 列和一个字符串列。 SQLite 的INTEGER PRIMARY KEY，一个 64 位整数足以为每个插入的字符串分配一个唯一的 id。

然后，我将使用上面的查询按字符串获取频率。

如果您通过 Perl 的 DBI 插入，请确保在插入期间关闭 AutoCommit 并记住在最后（或定期）提交。

创建索引似乎几乎是强制性的，但它应该在所有字符串都在数据库中之后并且在运行任何查询之前完成。

#!/usr/bin/perl

use strict; use warnings;

use DBI;

my $dbh = DBI->connect('dbi:SQLite:counter.db', undef, undef,
    { RaiseError => 1, AutoCommit => 0 },
);

my $sth = $dbh->prepare(q{
    INSERT INTO strings (string) VALUES(?)
});

my @strings = qw( 0123456789 9876543210 );

for ( 1 .. 10 ) {
    my $val = $strings[0.5 > rand];
    $sth->execute($val);
}

$dbh->commit;

my $result = $dbh->selectall_hashref(
    q{SELECT string, count(string) FROM strings GROUP BY string},
    'string',
);

$dbh->disconnect;

use Data::Dumper;
print Dumper $result;

SQL：

DROP TABLE strings;

CREATE TABLE strings (
    id INTEGER PRIMARY KEY,
    string char(10)
);

输出：

$VAR1 = { '9876543210' => { '计数（字符串）' => '9'， '字符串' => '9876543210' }, '0123456789' => { '计数（字符串）' => '1', '字符串' => '0123456789' } };

Answer 2

INSERT OR REPLACE 大致相当于在执行INSERT 之前使用要插入的行中的值对唯一约束执行DELETE。它对您的目的没有用，因为您无法从旧行中获取计数器的值。 （新行的值在确定是否存在要替换的现有行之前计算。）

如果您希望大多数字符串都是唯一的（即，在大多数情况下，UPDATE 不会执行任何操作），那么先执行 INSERT 并仅在失败时发出 UPDATE 可能会更有效存在唯一约束错误。

但正如 newt 所说，除非您认为自己会超出地址空间，否则哈希会更快。 （即使您超出了可用 RAM，交换也可能比数据库更快。）