从 scala 2.10.4 到 2.11 的火花答案

【问题标题】：spark from scala 2.10.4 to 2.11从 scala 2.10.4 到 2.11 的火花
【发布时间】：2015-11-04 21:23:30
【问题描述】：

我需要使用 SparkSQL 处理超过 22 列宽的表。

Scala 2.11 似乎解决了这个问题。

关于如何升级和可能跨版本工作的任何帮助？我在 Eclipse 中使用 Scala IDE，但由于 SchemaRDD 的问题，我可以迁移到 Intellij IDEA。

感谢任何帮助。

【问题讨论】：

为什么不试试看是否有问题？从 2.10 到 2.11 的变化相对较小。如果您使用的是 SBT，则可能只是在构建文件中更改 scalaVersion 的值。如果您需要读取之前使用内置序列化解组的对象，则序列化兼容性被破坏。但是，如果不了解您在项目中使用的所有库和功能，其他人就不可能为您解答。
我真的不认为 Spark 可以与 Scala 2.11 一起使用。这就是为什么... Spark 团队明确建议使用 Scala 2.10 。首先...您需要针对 Scala 2.11 编译 Spark ...如果可行...（有一些奇迹）..那么您可以在您的 Scala 2.11 项目中使用它。

【解决方案1】：

Spark building documentation 中有关于使用 Scala 2.11 构建 Spark 的部分。但是，该指令可能会遗漏一步 - 查看another StackOverflow question。

无论如何，根据文档 Scala 2.11 尚未完全支持：

Spark 尚不支持 Scala 2.11 的 JDBC 组件。

【讨论】：