【发布时间】：2017-03-27 10:27:03
【问题描述】：
据我了解，这两个包为 Apache Spark 提供了相似但大部分不同的包装函数。 Sparklyr 较新，但仍需要在功能范围内增长。因此，我认为目前需要同时使用这两个包来获得全部功能。
由于这两个包本质上都包含对 Scala 类的 Java 实例的引用，我猜应该可以并行使用这些包。但这真的可能吗？您的最佳做法是什么？
【问题讨论】：
标签： r apache-spark sparkr sparklyr
【发布时间】：2017-03-27 10:27:03
【问题描述】：
这两个包使用不同的机制，并不是为互操作性而设计的。它们的内部以不同的方式设计，并且不会以相同的方式暴露 JVM 后端。
虽然人们可以想到一些解决方案，允许与持久元存储进行部分数据共享（想到使用全局临时视图），但它的应用程序相当有限。
如果您需要两者，我建议您将管道分成多个步骤，并在这些步骤之间传递数据，使用持久存储。
【讨论】：