Spark EMR 从 S3 读取转换并写回 S3，需要改进性能

Question

使用 AWS EMR 集群。

场景：

1. 我需要从 S3 读取 inpute parquet 文件
2. 对数据做一些转换，我用 Spark SQL 做的
3. 我需要将输出文件（multiplart parquet）写回 S3。

• 输入数据量：30GB
• 输出容量：500GB

我正在使用 1 个主节点 - m5.8xlarge 和 7 个 r5.12xlarge 类型的核心节点。

我尝试在步骤 3 中将文件直接写入 S3 以及写入本地文件并将它们移动到 S3。 直接写入 S3 需要更多时间。

• 直接写入 S3 的时间 = 5 小时
• 写入本地并移动到 S3 的时间 = 4 小时

1. 我尝试使用具有 600GB 的 EBS 和 10 Core r5.2xlarge 的 m4.2xlarge Master，并尝试将文件写入 /mnt/ 路径。但是，集群核心节点由于空间问题而失败。 有什么办法可以让Core节点在Master节点的EBS卷上写文件？

由于步骤 3 中的文件总大小 >500GB，我必须使用 r5.12xlarge 实例。对于较低的实例，它会出现内存不足的问题。

我没有对 dataFrame 进行重新分区以避免数据混乱。只是在做 dataFrame.write.parquet(path)

1. 任何其他 Master/Core/EBS 组合以获得最佳性能？

请为我的方案建议最佳组合。

Answer 1

避免重新分区并不总是好的，在数据​​偏斜的情况下，数据帧重新分区将在您身边。见here。

所以让我们从您的 spark 工作开始，首先您需要通过 spark ui 分析您的工作，这将帮助您检测任何数据偏斜、改组和任何其他与 spark 相关的瓶颈。见here。

另外，根据您的工作，您可能需要缓存数据帧，请参阅this answer 以检查您是否真的需要它。

如果您检查了所有常见的 spark 优化，请根据您的 EMR 版本检查这两个配置并确保它们已启用： maximizeResourceAllocation 和 emr-spark-s3-optimized-committer