在 Java 中加载 UTF-8 编码的 XML 数据时出现数据库错误

Question

我正在考虑在这里集思广益我的问题，不确定这是否会触发大量关闭！

简化：我有一个读取 XML 文件并将其加载到数据库中的系统。

XML 具有以下架构：

<?XML version="1.0" encoding="UTF-8"?>

罪魁祸首字段具有以下架构摘录：

<xsd:simpleType name="title">
.....
<xsd:restriction base="xsd:string">
 <xsd:minLength value="1"/>
 <xsd:maxLength value="2000"/>
</xsd:restriction>

架构符合 UTF-8，因此应支持 2000 个 UTF-8 字符，无论它们是单字节、双字节还是多字节。

XML 模式已经进行了字符长度检查，如上面摘录中所定义。

问题是有时 XSD 验证成功，但数据库插入失败，当 'title' XML 字段中出现一些多字节 UTF-8 字符时，导致服务器崩溃并出现 DB 错误。

The database 'title' column is defined as `varchar(2000)`

当数据库插入操作失败时，ops需要手动减少XML字段的长度并重新处理XML文件来修复它。

我一直在研究：

• 字节与字符长度检查
• 架构验证
• 等

解决方案是否可以进行与字符数匹配的字符串字节数检查？

我可以在 Java 中执行 string.getBytes("UTF-8").length，但是如何匹配 XSD 中的 <xsd:maxLength value="2000"/> 和 varchar(2000)？

您认为确保标题字段的 XML 数据不超过 XSD 中定义的指定长度的最佳方法是什么。并且只要符合XSD，XML数据就成功插入DB了？

我是否正确假设 XSD 中的 <xsd:maxLength value="2000"/> 与 varchar(2000) 列定义匹配？

Answer 1

架构符合 UTF-8 标准

不完全是，但我想我知道你的意思。您引用的 XML 声明没有指定与此模式匹配的 XML 实例文档的任何内容。只是说 XSD 本身（即带有根标签 的 XML 文档）使用 UTF-8 作为其字符编码。

XML Schema 从不关心 XML 文档的原始字节。正在验证的是 XML 信息集。因此，简单类型的 maxLength 方面表示您在此字段中最多可以有 2000 个字符。正如您正确指出的那样，字节的实际长度很容易超过 2000 个字符，但 XML 处理器不会知道或关心。

有时 XSD 验证成功，但数据库插入失败

我同意 lunatikz - 最可能的解释是数据库配置不正确。

解决方案是否可以进行与字符数匹配的字符串字节数检查？

不，那会解决错误的问题。问题可能出在数据库中，而不是您的 Java 代码中。

您认为确保标题字段的 XML 数据不超过 XSD 中定义的指定长度的最佳方法是什么。

我认为您不需要做任何事情来确保这一点。您的 XML 验证器已经在为您检查，它可能工作得很好。

而且只要符合XSD，XML数据就成功插入DB了？

配置数据库或其表/列定义，使其停止尝试使用单字节字符编码来解释输入。

我是否正确假设 XSD 中的 与 varchar(2000) 列定义匹配？

是的，两者都指定了最多 2000 个字符的字段。但是数据库以与 XML 处理器不同的方式解释“字符”一词。