Apache Spark 与 Apache Spark 2 [关闭]

Question

与 Apache Spark 相比，Apache Spark2 带来了哪些改进？

1. 从架构的角度来看
2. 从应用的角度来看
3. 或更多

Answer 1

Apache Spark 2.0.0 API 与 Spark 1.X 基本相似 2.0.0 确实有 API 重大更改

Apache Spark 2.0.0 是 2.x 行的第一个版本。主要更新是API 可用性、SQL 2003 支持、性能改进、结构化流、R UDF 支持以及操作改进。

火花 2 中的新功能：

• 我能看到的最大变化是 DataSet 和 DataFrame API 将被合并。
• Spark 的最新和最伟大的版本与前代产品相比将大大提高效率。 Spark 2.0 将专注于 Parquet 和缓存的结合，以实现更好的吞吐量。
• 结构化流是另一件大事！
• 这将是第一个专注于 ETL 的版本。后续版本将为 ETL 添加更多运算符和库

您可以浏览Spark release 2.0.0，其中解释了以下几点更新：

• API 稳定性
• Core 和 Spark SQL
• MLlib
• SparkR
• 流媒体
• 依赖、打包和操作
• 删除、行为更改和弃用
• 已知问题

Answer 2

在架构方面并没有太大的区别，因为简而言之仍然是 DAG 和 RDD ，这是其中最重要的部分！

虽然 Spark 2.0 更加优化，并且拥有 DataSet Api，它为开发人员提供了更强大的功能。 所以我会说架构是一样的，只是 Spark 2.0 提供了很多优化并且拥有丰富的 Api 集！

这些是 Apache Spark 2.0 提供的主要内容：

• 我能看到的最大变化是 DataSet 和 DataFrame API 将被合并。
• Spark 的最新和最伟大的将是一个整体 与前辈相比，效率很高。 Spark 2.0 将 专注于 Parquet 和缓存的结合，以实现更好的效果 吞吐量。
• 结构化流是另一件大事！
• 它将是 第一个版本将专注于 ETL。后续版本将为 ETL 添加更多运算符和库

欲了解更多信息，请点击此处：https://www.quora.com/What-are-special-features-and-advantages-of-Apache-Spark-2-0-over-earlier-versions