如何在 Spark 2.1 中启用 tungsten sort shuffle？答案

【问题标题】：How to enable tungsten sort shuffle in Spark 2.1?如何在 Spark 2.1 中启用 tungsten sort shuffle？
【发布时间】：2017-07-05 20:08:30
【问题描述】：

在以前的版本中，有一个名为spark.shuffle.manage的配置，用于确定Spark中shuffle算法的类型。从 Spark 2.0 开始，这个配置被删除了。默认的随机播放算法是基于排序的。据我了解，只有满足所有要求，才会启用 Tungsten shuffle。我如何知道当前作业是使用原始的基于排序的 shuffle 还是 Tungsten 排序？

非常感谢。

【问题讨论】：

标签： apache-spark shuffle

【解决方案1】：

SortShuffleManager 是 Apache Spark 中唯一的一个 ShuffleManager。

换句话说，除了 SortShuffleManager 之外，您无法使用任何其他 ShuffleManager（除非您使用 spark.shuffle.manager 属性启用了一个）。

【讨论】：

哇，你是掌握 Spark 的作者！笔记对我帮助很大！我很兴奋，你可以回复我。非常感谢你们。所以，目前只有一个洗牌管理器。我读了this article。它介绍了 3 种算法，哈希、排序和 tungsten。哈希已被删除。我怎么知道现在应用了哪种洗牌算法（如果是排序或钨排序）。我有点困惑。如那篇文章所述，钨必须具备一些条件。如果这些条件不成立，是否会应用原始排序算法？
事情已经发生了变化，这篇文章（虽然当时非常好）并没有过时。自己看代码。
@JacekLaskowski，关于这个问题，只是好奇为什么在 spark 2.x 中删除了哈希洗牌管理器？谢谢