如何修复“hdfs://192.123.81.123:9000/atos/sample.pdf 不是序列文件”

Question

您好，我从 Apache Spark 开始， 从 HDFS 读取 PDF 时遇到问题

我尝试使用二进制文件解决我的问题，但我不知道如何实现，所有示例都是用 scala 语言编写的。听说 Apache Tika 提供了从二进制文件读取 PDF 的功能，但是只要我不知道如何读取这个 pdf 文件，这些知识都没用，现在我正在使用 PDFBox

        SparkConf sparkConf = new SparkConf().setAppName("spark-AI").setMaster("local[*]");
        JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
        JavaRDD<File> pdfFiles = javaSparkContext.objectFile("hdfs://192.123.81.123:9000/atos/sample.pdf");
        JavaRDD<PDDocument> pdfDocuments = a.map(file -> PDDocument.load(file));
        JavaRDD<String> pdfText = pdfDocuments.map(document -> new PDFTextStripper().getText(document));

实际输出是“java.io.IOException: hdfs://192.123.81.123:9000/atos/sample.pdf not a SequenceFile”

Answer 1

我使用 .binaryFile(path) 方法解决了我的问题，该方法返回 JavaPairRDD