如何尾纱原木？

【问题标题】：How to tail yarn logs?如何尾纱原木？
【发布时间】：2019-01-23 13:12:29
【问题描述】：

我正在使用以下命令提交 Spark 作业。我想使用类似于 Linux 框中的 tail 命令操作的应用程序 ID 来跟踪纱线日志。

export SPARK_MAJOR_VERSION=2
nohup spark-submit --class "com.test.TestApplication" --name TestApp --queue queue1 --properties-file application.properties --files "hive-site.xml,tez-site.xml,hbase-site.xml,application.properties" --master yarn --deploy-mode cluster Test-app.jar > /tmp/TestApp.log &

【问题讨论】：

标签： apache-spark hadoop hadoop-yarn tail apache-spark-2.0

【解决方案1】：

不容易。

“YARN 日志”实际上并不在 YARN 中，它们实际上是在 Spark 的执行器节点上。如果启用了 YARN 日志聚合，则日志位于 HDFS 中，并可从 Spark History 服务器获得。

行业部署模式是配置 Spark log4j 属性以使用日志转发器（如 Filebeat、Splunk、Fluentd）写入文件，然后这些进程将数据收集到搜索引擎中，如 Solr、Elasticsearch、Graylog、Splunk、等等。通过这些工具，您可以在 CLI 之外大致跟踪/搜索/分析日志消息。

【讨论】：