Sparklyr 的兼容版本

Question

对于哪些版本的 Spark 与 Sparklyr 兼容，是否有权威来源？或者任何人都可以阐明如何确定这一点？

我在 macOS 上，但未能成功使用 Spark 2.4.x；他们都无法连接，通常会产生“Failed to connect to sparklyr to port 8880...”错误。

我终于可以使用 Spark 2.3.0 进行工作了。但是，如果我尝试安装 2.3.3，则会收到错误消息：

> spark_install("2.3.3")
Error in spark_install_find(version, hadoop_version, installed_only = FALSE,  : 
  Spark version not available. Find available versions, using spark_available_versions()

可用的版本是：

> spark_available_versions()
  spark
1   1.6
2   2.0
3   2.1
4   2.2
5   2.3
6   2.4

所以，这看起来像是一个“权威”列表，但 2.4 不起作用。

另外，2.3 是否仅表示 2.3.0？为什么不支持补丁发布？

Answer 1

您可以使用spark_available_versions(show_minor = T) 列出次要版本，是的，sparklyr 支持补丁版本。截至最新版本：

   spark
1  1.6.3
2  1.6.2
3  1.6.1
4  1.6.0
5  2.0.0
6  2.0.1
7  2.0.2
8  2.1.0
9  2.1.1
10 2.2.0
11 2.2.1
12 2.3.0
13 2.3.1
14 2.3.2
15 2.3.3
16 2.4.0
17 2.4.1
18 2.4.2
19 2.4.3