带有谓词下推的 Spark SQL 代理表

Question

在 Apache Spark 中有没有一种方法可以创建一个 Spark SQL代理表，它只是代理到底层（自定义）数据源？

我有一个自定义数据源，它通过实现org.apache.spark.sql.sources.PrunedFilteredScan 支持谓词下推，现在我想对该数据源使用 Spark SQL，其中过滤谓词通过（下推）到数据源。将数据源注册为普通临时表（使用sqlContext.read.format("mydatasource").load().createOrReplaceTempView("myTable")）不是一种选择，因为这最终会将所有数据拉入 Spark。

Answer 1

临时视图（Dataset.createTempView 和 Dataset.createOrReplaceTempView）和外部表（2.2 之前的Catalog.createExternalTable，2.2 之后的Catalog.createTable）都不应该将所有数据拉入 Spark，并且所有这些选项都支持将下推预测到与底层源相同的程度。