高效地解析大型 XML

Question

我需要解析大型 XML 文件并将数据保存到 MS SQL DB 表。一种显然是编写 C# 程序的方法。显然，这提出了性能问题。您知道处理大规模 XML 的最快、最有效的方法吗？

Answer 1

如果您想寻求 C# 解决方案，请查看 XmlReader。这将使您仅转发流式访问您的 XML 文件。请注意仅向前的部分。如果您需要对子节点进行更复杂的操作，您最好结合使用XmlReader 和XDocument，即使用XmlReader 加载大文件，然后使用ReadSubtree() 加载子树进入 XDocuments。例如，如果您的文档是这样的：

<root>
    <big-child-1>
        <grandchild-a>
            ...
        </grandchild-a>
        <grandchild-b>
            ...
        </grandchild-b>
    </big-child-1>
    <big-child-2>
        ... 
    </big-child-2>
</root>

你可以这样做：

XmlReader xr = XmlReader.Create("C:\\file.xml");\
xr.MoveToContent();

while (xr.Read())
{
    if (xr.Name == "grandchild-a")
    {
        XDocument xd = new XDocument(xr.ReadSubTree()); // now you have an XDocument with all the content under the grandchild-a node
    }
    else if (xr.Name == ...)
}

但是，您只需使用XmlReader的次数越多，它的性能就会越好。

这里有一些文档：

• XmlReader：https://msdn.microsoft.com/en-us/library/system.xml.xmlreader%28v=vs.110%29.aspx
• XDocument：https://msdn.microsoft.com/en-us/library/system.xml.linq.xdocument%28v=vs.110%29.aspx

当然你还有其他选择：

• SQL Server 具有 XML 功能（查看 OPENXML）
• SSIS：您在这里提到了对内存使用的担忧，但这是一个选项。
• XSLT：在这种情况下，可能不如使用 XmlReader 好，但您可以创建 XSLT，然后从您的 XML 创建 SQL 查询。

Answer 2

答案取决于场景的细节。 XML 文件有多大？您是将整个 XML 文件存储在数据库中，还是仅存储其中的某些部分？您是将 XML 作为 blob 存储在数据库中，还是将不同的元素和属性放入它们自己的专用列中？

C# 可以很好地满足您的需求，但根据您的场景，有不同的 XML 相关 API。

如果要将整个 XML 文档反序列化为 .NET 对象，则可以在 C# 中定义对象并使用 System.Xml.Serialization.XMLSerializer 将文档加载到内存中。

但是，如果文档非常大，并且您无法一次将整个内容全部加载到内存中，那么您可能需要使用 System.Xml.XmlReader，这是一个只进的阅读器，您可以使用它一次抓取一个元素和属性，然后将它们推送到您的数据库中。