这个可能很容易回答，但我这辈子似乎找不到这个。
有人可以指点我有关您可以与 spark 一起使用的各种键值对选项的文档吗？
此类选项的示例（在 pyspark 中）：
some_spark_table.write.format("parquet").option("parquet.block.size", 1234)
如果我对parquet.block.size 选项的单位感兴趣，我在哪里可以找到它？
我发现 this link 很有帮助地指出：“要查找有关额外 ORC/Parquet 选项的更多详细信息，请访问官方 Apache ORC/Parquet 网站。”但是还是找不到。
【问题讨论】：
标签： apache-spark pyspark parquet
正如文档所说，您可以访问官方 Apache Parquet 网站。我认为官方网站的意思是Parquet git repo :)
从那里引用：
属性： parquet.block.size
说明： 块大小（以字节为单位）。此属性取决于文件系统：
如果使用的文件系统 (FS) 支持 HDFS 等块，则块大小 将是 FS 的默认块大小与此之间的最大值 财产。并且行组大小将等于此属性。
block_size = max(default_fs_block_size, parquet.block.size)row_group_size = parquet.block.size- 如果使用的文件系统不支持块，则此属性将定义行组大小。
请注意，较大的行组大小值会在以下情况下提高 IO 读取但写入时消耗更多内存
默认值： 134217728 (128 MB)
与 Parquet 不同，Spark 自己的配置设置在其网站上有很好的记录（他们希望您了解的那些），正如另一个答案所指出的那样。
【讨论】：
您必须通过官方文档才能找到这些属性。 例如，与拼花相关的属性 (https://spark.apache.org/docs/2.4.0/sql-data-sources-parquet.html#configuration)
虽然大部分配置相关的属性你都可以找到here。
希望对你有帮助！
【讨论】：