使用 S3 时支持 Parquet 作为输入/输出格式

Question

我看到很多问题描述了在 Spark 中使用 S3 时遇到的问题：

• Spark jobs finishes but application takes time to close
• spark-1.4.1 saveAsTextFile to S3 is very slow on emr-4.0.0
• Writing Spark checkpoints to S3 is too slow

许多专门描述 Parquet 文件的问题：

• Slow or incomplete saveAsParquetFile from EMR Spark to S3
• Does Spark support Partition Pruning with Parquet Files
• is Parquet predicate pushdown works on S3 using Spark non EMR?
• Huge delays translating the DAG to tasks
• Fast Parquet row count in Spark

以及一些外部资源提到 Spark - S3 - Parquet 组合的其他问题。这让我觉得无论是 S3 与 Spark 还是这种完整的组合都可能不是最佳选择。

我在这里有什么东西吗？任何人都可以提供一个权威的答案解释：

• Parquet 支持的当前状态，重点是 S3。
• Spark (SQL) 能否充分利用 Parquet 功能，例如分区修剪、谓词下推（包括深度嵌套模式）和 Parquet 元数据？所有这些功能是否都能在 S3（或兼容的存储解决方案）上按预期工作。
• 正在进行的开发和开放的 JIRA 票证。
• 结合使用这三个选项时，是否有任何需要注意的配置选项？

Answer 1

很多问题都不是 parquet 特有的，但 S3 不是文件系统，尽管 API 试图让它看起来像这样。许多名义上低成本的操作需要多个 HTTPS 请求，从而导致延迟。

关于 JIRA

• HADOOP-11694; S3A 阶段 II — 您将在 Hadoop 2.8 中获得的一切。其中大部分已经在 HDP2.5 中，是的，它具有显着的优势。
• HADOOP-13204：待办事项列表。
• 关于 spark（和 hive），使用rename() 提交工作是一个杀手锏。它用于任务和作业的结束以及检查点。您生成的输出越多，完成的时间就越长。 s3guard work 将包含一个零重命名提交程序，但将内容移至它需要小心和时间。

镶木地板？下推有效，但还有其他一些选项可以加快速度。我将它们和其他人列出在： http://www.slideshare.net/steve_l/apache-spark-and-object-stores