使用模式加载 Parquet 数据/使用 XSD 验证 XML答案

【问题标题】：Loading Parquet data using schema / using XSD to validate XML使用模式加载 Parquet 数据/使用 XSD 验证 XML
【发布时间】：2017-05-21 07:05:47
【问题描述】：

我有一些 XML 文件需要存储在 parquet/avro 中 XSD 文件中给定的结构中。 XML/XSD 文件包含重复的标签标题（可能出现两次），所以我选择使用 Parquet，因为 Avro 不支持这一点。

我想通过 XML 检查它是否有效（针对 XSD 文件），如果存在 XML 中不存在的 xsd 元素，我只想将该值存储为 NULL。

在我看来，我有两个选择：

1) 使用 scala 对照 xsd 检查 xml，如果有效，则（以某种方式）用 NULL 填充任何差异并存储为镶木地板。

2) 检查xml有效性，然后使用XSD文件parquet版本的schema插入xml文件的paquet数据。

我也不完全确定该怎么做，所以我希望能得到一个指针，以确保我不会把时间浪费在错误的方向上。

【问题讨论】：

【解决方案1】：

我没有找到我想要的解决方案，但是使用 unix 进行验证非常容易。

xmllint -schema xsdfile xmlfile --noout

【讨论】：