如何在 Apache Spark 中使用 Hadoop 输入格式？

Question

我在 Hadoop 中有一个类 ImageInputFormat，它从 HDFS 读取图像。如何在 Spark 中使用我的 InputFormat？

这是我的ImageInputFormat：

public class ImageInputFormat extends FileInputFormat<Text, ImageWritable> {

    @Override
    public ImageRecordReader createRecordReader(InputSplit split, 
                  TaskAttemptContext context) throws IOException, InterruptedException {
        return new ImageRecordReader();
    }

    @Override
    protected boolean isSplitable(JobContext context, Path filename) {
        return false;
    }
}  

Answer 1

SparkContext 有一个名为hadoopFile 的方法。它接受实现接口org.apache.hadoop.mapred.InputFormat的类

它的描述是“为具有任意 InputFormat 的 Hadoop 文件获取 RDD”。

还可以查看Spark Documentation。

Answer 2

图像都存储在 hadoopRDD 中？

是的，将保存在 spark 中的所有内容都是 rdds

可以设置RDD的容量，当RDD满了，剩下的数据会存到磁盘吗？

spark 中的默认存储级别是 (StorageLevel.MEMORY_ONLY) ，使用 MEMORY_ONLY_SER，这样更节省空间。请参考 spark 文档 > scala 编程 > RDD 持久性

数据太大会影响性能吗？

随着数据大小的增加，它也会影响性能。