Dataproc spark 作业无法从 bigtable 扫描记录

Question

我们正在使用 newAPIHadoopRDD 扫描一个 bigtable 并将记录添加到 Rdd 中。 Rdd 使用 newAPIHadoopRDD 填充较小的（比如少于 10 万条记录）大表。但是，它无法从更大（比如 6M 记录）的 bigtable 将记录加载到 Rdd。

SparkConf sparkConf = new SparkConf().setAppName("mc-bigtable-sample-scan")
JavaSparkContext jsc = new JavaSparkContext(sparkConf);

Configuration hbaseConf = HBaseConfiguration.create();
hbaseConf.set(TableInputFormat.INPUT_TABLE, "listings");
Scan scan = new Scan();
scan.addColumn(COLUMN_FAMILY_BASE, COLUMN_COL1);
hbaseConf.set(TableInputFormat.SCAN, TableMapReduceUtil.convertScanToString(scan));
JavaPairRDD<ImmutableBytesWritable, Result> source = jsc.newAPIHadoopRDD(hbaseConf, TableInputFormat.class,
            ImmutableBytesWritable.class, Result.class);
System.out.println("source count " + source.count());

对于较小的表，计数正确显示。但对于较大的表格，它显示为零。

尝试了许多不同的配置选项，例如增加驱动程序内存、执行程序数量、工作人员数量，但没有任何效果。

有人可以帮忙吗？

Answer 1

我的错。在我的代码中发现了问题。我试图扫描的列 COLUMN_COL1 在更大的 bigtable 中不可用，因此我的计数显示为 0。