如何在 Java 8 中使用 FilterFunction 过滤 XML

Question

我需要使用 FilterFuction 过滤一个 XML 文件。我只想显示“计数> 63”的记录。我用火花。现在我的代码只显示带有字母 a 的行数。可能我应该使用 List，但我不知道如何在 Java 8 中使用它来过滤 XML 文件。因此，我想获得一个 TagName 列表（“control”、“arduino”，Count>63）。

现在我的代码只显示“带 a 的行”的数量。但我想获得一个 Count>63 的 TagName 列表。它将是：“control, arduino, raspberry-pi, motion-planning” 也许我应该使用拆分。

这是我的 XML 文件：

<?xml version="1.0" encoding="utf-8"?>
<tags>
<row Id="1" TagName="soccer" Count="7" ExcerptPostId="12371" WikiPostId="12370" />
<row Id="2" TagName="servos" Count="63" ExcerptPostId="186" WikiPostId="185" />
<row Id="3" TagName="control" Count="394" ExcerptPostId="192" WikiPostId="191" />
<row Id="5" TagName="gait" Count="4" ExcerptPostId="12362" WikiPostId="12361" />
<row Id="6" TagName="walk" Count="7" />
<row Id="8" TagName="arduino" Count="401" ExcerptPostId="202" WikiPostId="201" />
<row Id="9" TagName="raspberry-pi" Count="151" ExcerptPostId="307" WikiPostId="306" />
<row Id="10" TagName="motion-planning" Count="104" ExcerptPostId="11370" WikiPostId="11369" />
</tags>

这是我的 Java 代码：

import org.apache.spark.api.java.function.FilterFunction;
import org.apache.spark.sql.SparkSession;
import org.apache.spark.sql.Dataset;

public class Main {
public static void main(String[] args) {
    String someFile = "/home/files/Tags.xml";

    SparkSession spark = SparkSession.builder().appName("Simple app").getOrCreate();

    Dataset<String> logData = spark.read().textFile(someFile).cache();

    ong numAs = logData.filter((FilterFunction<String>) s -> s.contains("a")).count();

    System.out.println("Lines with a: " + numAs);

    spark.stop();
}
}

提前谢谢你

Answer 1

我的印象是，您试图通过将 XML 视为一系列行来处理 XML，并在换行符边界上拆分它。您不能以这种方式解析 XML - 行尾没有特别的意义。 （您谈论“记录”和“行”，但在 XML 世界中这些都是无意义的概念：您需要考虑元素和属性。）快速浏览一下 Spark，我看不到任何 XML 处理能力。所以在我看来，你好像在使用错误的工具来完成这项工作。