如何将新事件添加到 Apache Spark 事件日志

Question

Apache Spark 在事件日志中推送大量信息。如何将我的自定义事件推送到此事件日志中？

Spark 是否公开任何 API 来执行此操作？或者我可以扩展任何现有的类来做到这一点？

Answer 1

您的类可以扩展org.apache.spark.Logging 并使用其中定义的帮助方法：

logInfo("task success") 
logWarn("didn't receive data")
...

注意关于该特征的警告：

注意：请勿在 Spark 之外使用此类。它旨在作为 内部效用。将来可能会更改或删除 发布。