【发布时间】:2014-06-24 23:04:50
【问题描述】:
我正在尝试使用 Cascading 在本地 Hadoop 集群上创建和执行复杂的数据处理工作流。
我希望创建一个 TFIDF 向量,以便我可以使用 Apache Spark 框架在其上应用机器学习算法,例如 NaiveBayes。
问题是,在我创建 jar 并使用以下命令启动它后,程序会冻结。 Here 是日志文件。
您可以找到来源here。相关源码在part6。
谢谢!
【问题讨论】:
我正在尝试使用 Cascading 在本地 Hadoop 集群上创建和执行复杂的数据处理工作流。
我希望创建一个 TFIDF 向量,以便我可以使用 Apache Spark 框架在其上应用机器学习算法,例如 NaiveBayes。
问题是,在我创建 jar 并使用以下命令启动它后,程序会冻结。 Here 是日志文件。
您可以找到来源here。相关源码在part6。
谢谢!
【问题讨论】:
我发现了问题。集群的节点不健康,但日志没有显示,并且级联冻结,因为它的任务已被取消。
所以要解决这个问题,你必须更正节点健康,在我的例子中,我只需要更正 hadoop-yarn 容器目录以及它的本地 namenode 目录。
您可能会遇到其他错误,因此我建议您检查您的 hadoop 日志文件和 Hadoop 节点的 WebUI 管理员。
【讨论】: