spark.ml.gradient 提升的进度报告？答案

【问题标题】：Progress report for spark.ml.gradientboosting?spark.ml.gradient 提升的进度报告？
【发布时间】：2023-04-10 06:47:01
【问题描述】：

我正在使用 spark.ml 梯度提升。几乎需要一天的时间才能产生结果。有没有办法显示进度？（例如，到目前为止已经生成了多少棵树）

【问题讨论】：

不幸的是，除了您可以在 spark web UI 中查看的常规任务的进度之外，一般情况下没有。

标签： apache-spark apache-spark-mllib

【解决方案1】：

在 log4j.properties 文件中或通过修改 shell spark.sparkContext.setLogLevel("DEBUG") 中的 Spark 上下文将默认日志级别设置为“DEBUG”。这将提供带有树构建状态更新的调试消息，例如

[DEBUG] 2016-07-31 11:36:23,689 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - Gradient boosting tree iteration 2
[DEBUG] 2016-07-31 11:36:23,690 org.apache.spark.ml.tree.impl.GradientBoostedTrees logDebug - ###################################################

调试日志信息也会在每次迭代中显示 GBT 的错误。

【讨论】：

谢谢赛斯。我在 Spark Standalone 上使用 Ipython (pyspark)。我在笔记本上完成了 sc.setLogLevel("DEBUG")，但我的日志中仍然没有看到任何 DEBUG 消息。

【解决方案2】：

这很好地完成了这项工作 --conf spark.ui.showConsoleProgress=true

【讨论】：