查找数据库中已存在的重复对象

Question

我有一个包含对象的数据库表。这些对象有一个 PK 和一个具有 4 个属性的唯一索引。我想要做的是将新对象添加到数据库中，并将重复的“旧”对象从另一个表移动到另一个表，即“历史”。

因此，当我上传新的 csv 文件时，我想获取数据库中所有与新 csv 文件中的对象重复的现有对象。

csv 文件可能很大并且有超过 10k 的对象，因此循环它们并检查数据库中是否存在索引/id 需要很长时间。

我尝试使用唯一索引键保存对象，但不知道如何获取已经存在的对象。

截图供参考：

Entity

Parent

Answer 1

由于 EF Core 出于性能原因不支持批量操作，因此最好使用第三方扩展（免责声明我是创建者之一）https://github.com/linq2db/linq2db.EntityFrameworkCore

为了快速阅读 CSV，我建议使用这个库 https://github.com/mgholam/fastCSV 它将通过 IEnumerable 连续加载文件，而不会占用大量内存。

最好用临时表实现这样的插入：

var items = ... // you have read CSV file and created enumeration of objects, let's name them SomeItem
using var db = ctx.CreateLinqToDBConnection();
using var temp = db.CreateTempTable("#to_inject", items);

var queryToHistory = 
   from s in db.GetTable<SomeItem>()
   from t in temp.InnerJoin(t => t.key1 == s.Key1 && t.Key2 == s.Key2 && t.Key3 == s.Key3)
   select s;

using var tran = db.BeginTransaction();

// inserting into History table
queryToHistory.Insert(db.GetTable<SomeItemHistory>(), s => new SomeItemHistory 
  {
     Key1 = s.Key1,
     Key2 = s.Key2,
     Key3 = s.Key3,
     
     Value1 = s.Value1,
     Value2 = s.Value2,
     ...
  });

// inserting new records or update existing
db.GetTable<SomeItem>()
  .Merge()
  .Using(temp)
  .OnTargetKey()
  .InsertWhenNotMatched()
  .UpdateWhenMatched()
  .Merge();

tran.Commit();