如何仅访问纱线集群中的火花日志答案

【问题标题】：How to access only spark logs in a yarn cluster如何仅访问纱线集群中的火花日志
【发布时间】：2018-02-15 19:55:50
【问题描述】：

我在集群模式下使用带有 yarn 的 spark，我想只检索有关 spark 的日志以便使用历史服务器。有没有办法做到这一点，而不是从大日志文件中复制粘贴？

【问题讨论】：

yarn application -list | grep "SPARK" | awk '{print $1}'获取所有spark应用的applicationId
@Tiffany Hatsune 嗨，你能帮我使用 docker 在 spark 集群模式下设置 zeppelin。我坚持了一段时间。在互联网上遵循了一些教程，但仍然不成功。
已经在这里问了一个问题，stackoverflow.com/questions/46149472/…
对不起，我对 Zeppelin 没有任何经验 :(

【解决方案1】：

是的，您可以记录每个任务。您需要转到 yarn UI（8088 端口）并复制任务的 id。然后使用命令：

yarn logs --applicationId <TASK_ID>

例如：

yarn logs --applicationId application_1504771895665_0001

通过此命令，您可以查看该任务使用的每个容器的日志。

【讨论】：