如何查看在 kubernetes 中运行的 Livy 中的执行程序日志

【问题标题】：How can I see executor logs in Livy running in kubernetes如何查看在 kubernetes 中运行的 Livy 中的执行程序日志
【发布时间】：2020-01-17 03:30:50
【问题描述】：

我正在 Kubernetes 上运行稳定/火花 Helm 部署并通过 Livy 提交作业。

curl -X POST --data '{"className": "LogBundleConfigFetcher", “文件”：“http:///aliceparser_2.11-19.12.09.jar”，“参数”：[“”]}' -H "Content-Type: application/json" http://:8998/batches

我可以在 Livy pod 中看到驱动程序日志。但无法查看执行程序日志。

有什么方法可以查看执行者日志吗？

【问题讨论】：

您是否尝试查看其他 spark 容器的日志？
@rabello 是的，我试图查看两个工作 pod 的日志。它没有显示任何内容

标签： apache-spark kubernetes livy

【解决方案1】：

Livy API 不提供访问 Spark Executor 日志的方法。

我建议您查看Grafana Loki project，以便在 Kubernetes 集群中轻松收集日志。

也可以自定义 Livy 以收集 Executor 日志，但这将是一个很大的规模开销。

【讨论】：

我们使用的是 Kibana，但它也只显示驱动程序日志。我应该使用 spark-history 服务器部署将日志存储在某处吗？
Spark History Server 仅存储事件日志（Spark UI 的快照，而不是 STDOUT）。关于 Kibana - 问题在于您收集日志的方式。可能您需要在 Elastic/Kibana 设置中添加一些额外的配置来收集执行程序日志，或者检查您在 Kibana 中使用的查询。不幸的是，我没有手动设置 ELK，但我可以与您分享我用来监控 Kubernetes 中的 Spark 应用程序的 Prometheus 堆栈：github.com/jahstreet/spark-on-kubernetes-helm/tree/master/…。希望对您有所帮助。