接收日常 XML 文件 - 每天需要搜索 12 种类型

Question

Asp.NET - C#.NET

我需要关于以下设计问题的建议：

我每天都会收到 XML 文件。它改变了数量，例如昨天收到 10 个 XML 文件，今天收到 56 个 XML 文件，明天可能收到 161 个 XML 文件，等等。

有 12 种类型（12 XSD）...顶部有一个名为 FormType 的属性，例如FormType="1"、FormType="2"、FormType="12" 等多达 12 种表单类型。

它们都有共同的字段，例如姓名、地址、电话。 但是例如FormType=1 用于建筑，FormType=2 用于 IT，FormType 3=医院，Formtype=4 用于广告等。

正如我所说，它们都有共同的属性。

要求： 需要一个搜索屏幕，以便用户可以对这些 XML 内容进行搜索。但我不知道如何处理这个问题。例如在某些属性的文本中搜索从 Date_From 和 Date_To 接收到的 xml。

问题： 我听说过将 XML 放在二进制字段中并执行 XPATH 查询或其他任何操作，但不知道要在 google 上搜索的单词。

我正在考虑创建一个大的 database.table 并读取所有 XML 并将其放入数据库表中。但问题是一些 xml 属性非常大，比如 2-3 页。并且其他 XML 文件中的相同属性为空.. 因此，为每个 XML 属性创建 NVARCHAR(MAX) 并将它们放入 table.field.... 一段时间后，我的 DATABASE 将成为一个大怪物...

有人可以建议处理此问题的最佳方法是什么吗？

Answer 1

我不是 100% 确定我理解您的问题。我猜该查询应该返回满足某种用户指定条件的单个 XML 文档。

在这种情况下，我的出发点可能是实现一种查询单个 XML 文档的方法，即如果文档成功则返回 true，否则返回 false。很可能，我会将查询参数设为 XPath 查询，但谁知道呢？这是一个简单的例子：

public bool TestXml(XDocument d, string query)
{
   return d.XPathSelectElements(query).Any();
}

接下来，我需要存储要查询的 XML 文档。那家商店住在哪里，它采取什么形式？在一定程度上，这些是我的应用程序不关心的实现细节。它们可以存在于数据库或文件系统中。它们可以缓存在内存中。我会先保持简单，比如：

public IEnumerable<XDocument> XmlDocuments()
{
   DirectoryInfo di = new DirectoryInfo(XmlDirectoryPath);
   foreach (FileInfo fi in di.GetFiles())
   {
      yield return XDocument.Load(fi.Filename);
   }
}

现在我可以获取满足这样一个请求的所有文档：

public IEnumerable<XDocument> GetDocuments(query)
{
   return XmlDocuments.Where(x => TextXml(x, query));
}

当我看到这个问题时，我突然想到的事情是：我必须将我的文档解析为 XDocument 对象来查询它们。无论它们是在数据库中还是在文件系统中，都会发生这种情况。 （如果我将它们放在数据库中并编写一个执行 XPath 查询的存储过程，正如有人建议的那样，我仍然在每次执行查询时解析所有 XML；我刚刚将所有工作转移到数据库服务器.)

大量的 I/O 和 CPU 时间都花在一遍又一遍地做完全相同的事情上。如果查询量不是很小，我会考虑在第一次调用GetDocuments() 时构建一个List<XDocument>，并提出一个将该列表保存在内存中的方案，直到接收到新的 XML 文档（或可能更新当接收到新的 XML 文档时显示）。