【问题标题】:Cascading for Impatient TFIDF example freezing不耐烦的 TFIDF 示例冻结的级联
【发布时间】:2014-06-24 23:04:50
【问题描述】:

我正在尝试使用 Cascading 在本地 Hadoop 集群上创建和执行复杂的数据处理工作流。

我希望创建一个 TFIDF 向量,以便我可以使用 Apache Spark 框架在其上应用机器学习算法,例如 NaiveBayes。

问题是,在我创建 jar 并使用以下命令启动它后,程序会冻结。 Here 是日志文件。

您可以找到来源here。相关源码在part6。

谢谢!

【问题讨论】:

    标签: hadoop cascading


    【解决方案1】:

    我发现了问题。集群的节点不健康,但日志没有显示,并且级联冻结,因为它的任务已被取消。

    所以要解决这个问题,你必须更正节点健康,在我的例子中,我只需要更正 hadoop-yarn 容器目录以及它的本地 namenode 目录。

    您可能会遇到其他错误,因此我建议您检查您的 hadoop 日志文件和 Hadoop 节点的 WebUI 管理员。

    【讨论】:

      猜你喜欢
      • 2015-09-08
      • 1970-01-01
      • 2016-10-06
      • 2016-12-27
      • 2012-06-29
      • 1970-01-01
      • 1970-01-01
      • 2010-09-14
      • 1970-01-01
      相关资源
      最近更新 更多