为什么这个交叉连接在 Linq 中这么慢？

Question

我编写了这段 Linq 来处理 CROSS Join，就像数据库在多个列表之间一样。

但是由于某种原因，当任何列表超过 3000 时，它会非常慢。我会等待 30 秒？这些列表的数量可能非常大。

此查询针对与来自 ColumnDataIndex 的其他列表数据的每个关系进行循环。

有什么建议吗？

更新** - 数据被插入到预先从配置的源构建的普通列表中。目前这一切都在记忆中。

RunningResult[parameter.Uid] = (from source_row in RunningResult[parameter.Uid]
                            from target_row in ColumnDataIndex[dest_key]
                            where GetColumnFromUID(source_row, rel.SourceColumn) == GetColumnFromUID(target_row, rel.TargetColumn)
                            select new Row()
                            {
                                Columns = MergeColumns(source_row.Columns, target_row.Columns)

                            }).ToList();

两个额外的功能：

MergeColumns：从 2 个项目中获取 Columns 并将它们合并到一个数组中。

public static Columnn[] MergeColumns(Column[] source_columns, Column[] target_columns)
{
      Provider.Data.BucketColumn[] new_column = new Provider.Data.BucketColumn[source_columns.Length + target_columns.Length];
      source_columns.CopyTo(new_column, 0);
      target_columns.CopyTo(new_column, source_columns.Length);
      return new_column;
  }

GetColumnFromUID：返回与给定列uid匹配的Item中列的值。

private static String GetColumnFromUID(Row row, String column_uid)
  {
       if (row != null)
       {
           var dest_col = row.Columns.FirstOrDefault(col => col.ColumnUid == column_uid);
           return dest_col == null ? "" + row.RowId : dest_col.Value.ToString().ToLower();
       }
       else return String.Empty;

  }

更新：

最终将数据和查询移至数据库。这将速度降低到了毫秒数。本可以编写一个优化的循环函数，但这对我来说是最快的出路。

Answer 1

您实际上不需要执行交叉连接。 交叉连接本质上是昂贵的操作。除非你真的需要它，否则你不应该这样做。在您的情况下，您真正​​需要的只是内部连接。您正在执行交叉连接，这会产生大量您根本不需要的值，然后您会过滤掉这些值中的很大一部分以留下您需要的少数值。如果您只是从一开始就进行了内部连接，那么您只会计算您需要的值。这将使您无需创建大量行，而不仅仅是将它们丢弃。

LINQ 有自己的内连接操作，Join，所以你甚至不需要自己编写：

RunningResult[parameter.Uid] = (from source_row in RunningResult[parameter.Uid]
                                join target_row in ColumnDataIndex[dest_key]
                                on GetColumnFromUID(source_row, rel.SourceColumn) equals
                                    GetColumnFromUID(target_row, rel.TargetColumn)
                                select new Row()
                                {
                                    Columns = MergeColumns(source_row.Columns, target_row.Columns)

                                }).ToList();

Answer 2

您不是在进行交叉连接，而是使用 ON 子句进行内部连接，仅在您的情况下，是 where 谓词中的 ON 子句。

内连接通常使用两个哈希集/表完成，因此您可以根据行 Y 中的值快速找到集合 X 中的行。

所以 'weston 的回答是可以的，但是你需要使用字典/哈希表来让它变得非常快。请注意，每个键可能有更多行。您可以为此使用像这样的多值哈希表/字典： https://github.com/SolutionsDesign/Algorithmia/blob/master/SD.Tools.Algorithmia/GeneralDataStructures/MultiValueDictionary.cs