【问题标题】:how to do broadcast in SparkR 2.2如何在 SparkR 2.2 中进行广播
【发布时间】:2018-01-23 23:59:36
【问题描述】:

我没有找到在 SparkR 2.2 中进行广播的信息。语法 broadcast(sc, object) 适用于旧版本。

谁能为此提供一些示例代码?以及必要的库。

谢谢

【问题讨论】:

  • 回答没有帮助?

标签: apache-spark broadcast sparkr


【解决方案1】:

根据this pull request,SparkR 中的broadcast() 将从 Spark 2.3 开始提供。

在 Spark 2.2 中,您应该使用hint();根据上述拉取请求(向下滚动),Spark 2.3 中的broadcast(x) 将等同于hint(x, "broadcast")

【讨论】:

  • 我一遍又一遍地阅读相关文档,但没有得到它。我们在谈论与jaceklaskowski.gitbooks.io/mastering-apache-spark/… 相同的广播吗?它与数据框无关。
  • 显然,所有全局变量都是自动广播的。我撤回这个职位。感谢您的回复
猜你喜欢
  • 2012-01-07
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2015-09-09
  • 2010-09-25
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多