我正在使用 python 库 Draft7Validator (https://python-jsonschema.readthedocs.io/en/stable/validate/) 来测试每个文件的 json 模式。不幸的是它很慢，在 scala/java 中有一个库，我可以在 Spark 中使用它来验证每个文件的 json 模式。
【问题讨论】：
标签： json scala apache-spark validation schema
您可以使用everit 进行 json 验证。您可以找到样品here 我认为@Srinivas 也提供了一个不错的选项circe-json-schema，但是everit（它是 circe-json-schema 的基础库）也支持不同的草稿，因此这取决于您的验证要求和要使用的草稿
【讨论】：
schema-validarion.json 后，您可以在列表上运行 foreach（使用 Java 中的流或仅使用Scala 中的列表）检查文件是否通过验证并将文件移动到“验证通过”或“验证失败”文件夹。这样您就不会与文件发生冲突，因为它们位于不同的位置（甚至与源不同），以后您可以对已通过或失败的文件执行任何操作。你甚至可以与.parallelStream并行运行
.par 以并行执行