Twitter Apache Spark 上的热门标签

Question

我是 apache spark 的新手。我试图运行https://github.com/prabeesh/SparkTwitterAnalysis/tree/0.2.0 示例，但控制台给了我以下错误：

 WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory

我已经使用nc -lk 9999 启动了服务器，并且我已经通过 sbt/sbt 包编译了代码
并使用sbt/ sbt 'run spark://localhost:9999 <keys as specifies> hashtag' 执行了代码

这个错误的原因是什么以及如何解决它

提前致谢。

Answer 1

如消息中所述，您的工作人员未在集群中注册，或者他们没有足够的内存来运行您的任务。从浏览器转到集群 UI 页面，并确保您的工作节点配置正确。如果节点正常工作，则尝试增加它们的可用内存。