使用 SparkOptimizer 进行自定义优化

Question

我正在尝试将一些自定义优化的逻辑计划插入 SparkOptimizer 并检查它们是否被执行。

我在 /spark/sql/catalyst/abc 中有一个扩展 RuleExecutor: xyz.Scala 的对象，其中包含自定义批次的“val 批次”，如下所示：

Object xyz extends RuleExecutor{
val batches = Batch (custom rule1):: Batch(custom rule2) :: Batch(custom rule3) :: Nil
}

我希望在向 Spark 提交示例应用程序时反映这些规则。我阅读了有关 exerimental.extraOptimizations 的信息，但我不确定在这种情况下如何实现它。

Answer 1

我想通了。 V 2.2.* 附带的新实验方法只有在您需要针对特定​​应用程序进行自定义优化时才可以使用，而不是针对您提交给 spark 的所有应用程序。就我而言，我必须将所有自定义批次包含到优化器.优化器中。因此，这些规则与本机规则一起批处理。