Spark，如何打印查询？

Question

我正在使用 pyspark

    df = self.sqlContext.read.option(
        "es.resource", indexes
    ).format("org.elasticsearch.spark.sql").load()


    df = df.filter(
        df.data.timestamp >= self.period_start
    )

如果可能的话，我想看看df 的sql 查询版本。

print(df.query) 之类的东西可以看到select * from my-indexes where data.timestamp > self.period_start 之类的东西

Answer 1

您可以查看pyspark.sql.DataFrame.explain 的这篇文档 . explain 将（逻辑和物理）计划打印到控制台以进行调试。