com.amazonaws.services.glue.writeDynamicFrame 的 SparkQL 选项是什么？

Question

在本文档中：https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-format.html#aws-glue-programming-etl-format-parquet

它提到：“底层 SparkSQL 代码接受的任何选项都可以通过 connection_options 映射参数传递给它。”

但是，我怎样才能知道这些选项是什么？ Glue 代码和 SparkQL 代码之间没有明确的映射关系。

（具体来说，我想弄清楚如何控制生成的 parquet 文件的大小）

Answer 1

可以在DataFrameWriter 文档（Scala 或pyspark 文档）中查找各种数据源的 SparkSQL 选项。用于编写parquet 的数据源似乎只采用compression 参数。对于读取数据时的 SparkSQL 选项，请查看 DataFrameReader 类。

要控制输出文件的大小，您应该使用并行性 - 就像 @Yuri Bondaruk 评论的那样 - 使用例如 coalesc 函数。