XML 序列化程序无法处理大型 XML 数据

Question

我知道这一定是直截了当的，但不知何故我无法理解它。

-- 场景--

我们使用的系统具有 WPF 前端，然后是 DB first 实体框架，然后是 SQL 2008R2 数据库。

我们拥有的大多数实体都是父子关系。没有孩子就不能存在父母，因此我们采用的存储过程

父数据和子数据列表，这里的子数据列表在使用 XML Serializer 序列化整个列表后作为 XML 传递。

在我们必须保存 500,000 条子记录之前，这一切都运行良好。 当我们尝试执行此操作时，XML 序列化程序无法抱怨内存不足。 然后我尝试分批发送 10,000 条子记录，它执行查询并保存数据，但原子性随后丢失，因为它只是一个像这样的 for 循环..

 For Each batchList In groups.Split(10000)
     Dim serializer As New XmlListSerializer(Of someObject)(batchList.ToList(), "Data")
     Dim xml = serializer.ToXmlString
     efContext.AddData(CType(addedParentId.Value, Short?), xml, "/Data/someObject")
 Next

其中添加数据是映射到存储过程的函数导入。

-- 问题--

现在我的问题是，在保持操作的原子性处于活动状态的同时，将多个子记录添加到数据库中的正确方法是什么。

另外，上面提到的方式非常慢，对于半百万记录需要5分钟，无论如何这是不可接受的。

Answer 1

将多个子记录添加到数据库中的正确方法是什么 同时保持操作的原子性处于活动状态。

您执行此操作的方式是 making a Transaction 在您执行多个步骤之前开始，然后在最后提交或回滚。事实上，实体框架在一次SaveChanges() 调用中执行多次插入时已经在执行此操作。这让我们：

另外，对于 50 万条记录，上述方式非常慢 这需要 5 分钟，这无论如何是不可接受的。

实体框架不是为批量操作而设计的，这 500,000 条记录中的每一条都将生成一个单独的 INSERT INTO 语句。要么使用提供批量插入功能的extension for EF，要么使用带有SqlBulkCopy 的老式ADO.NET 来加载数据。

---

至于 XML 问题，如果您的孩子列表很大，那么“正确”的做法是不要使用 XML。父子表应该是数据库中的单独表，然后您将拥有第三个“链接表”，即

create table Parent_Child_Links
{
    ParentId int,
    ChildId int
}

当您拥有多对多表关系并让实体框架为您创建表时，它会使用指向这两个表的外键创建第三个链接表。