用于以类似数据库表的格式计算频率的数据结构

Question

我想知道是否有一种数据结构经过优化，可以针对以数据库表格格式存储的数据计算频率。例如，以下数据采用（逗号）分隔格式。

col1, col2, col3
x, a, green
x, b, blue
...
y, c, green

现在我只想计算 col1=x 或 col1=x 和 col2=green 的频率。我一直将数据存储在数据库表中，但在我的分析和经验观察中，数据库连接是瓶颈。我也尝试过使用内存数据库解决方案，效果很好；唯一的问题是内存需求和古怪的 init/destroy 调用。

另外，我主要使用 java，但有使用 .net 的经验，并且想知道是否有任何 api 可以使用 java 以 linq 方式处理“表格”数据。

感谢任何帮助。

Answer 1

有一个Multiset 数据结构可以为您跟踪频率。这是使用该数据结构的示例代码（来自google-guava）。

void frequencyCounter()
{
    Multiset<String> counter = HashMultiset.create();

    counter.add("col1" + "=" + "x");
    counter.add("col2" + "=" + "x");
    counter.add("col2" + "=" + "x");

    System.out.println("how many times did col2 have the value x?");
    System.out.println(counter.count("col2" + "=" + "x"));
}

注意事项。

• 我正在连接列名 (col1) 及其值 (x) 与 (=) 为 分隔符同时添加到 多集
• 我正在重复相同的过程 检查频率 a
  给定列中的特定值

Answer 2

嵌套的 TreeMap 怎么样？例如，假设您有以下记录：

col1=v, col2=v2
col1=v, col2=v3

您希望能够查询结构并询问“col1 有多少次具有值 v？”

我将使用以下代码将值插入到结构中：

TreeMap tm = new TreeMap();
//the map hasn't seen this column name yet
if(!tm.containsKey(columnName)){
    //mark the column value as being seen once
    tm.put(columnName, (new TreeMap()).put(colVal, 1));
}else{
    //the map has seen the column name.
    TreeMap valueMap = tm.get(columnName);
    if(valueMap.containsKey(colVal)){
        //we've seen this column value before.
        //Increment the number of times we've seen it
        int valCount = valueMap.get(colVal);
        valueMp.put(colVal, valCount++);
    }else{
        //we've have not seen this column value before.
        valueMap.put(colVal, 1);
    }
}