我可以给 dataproc\ 的 log4j.properties 文件，其中 log4j.appender.file.File 作为 gcs 路径吗？答案

【问题标题】：Can I give dataproc's log4j.properties file having log4j.appender.file.File as gcs path?我可以给 dataproc\ 的 log4j.properties 文件，其中 log4j.appender.file.File 作为 gcs 路径吗？
【发布时间】：2022-10-02 09:25:05
【问题描述】：

我想将我的自定义应用程序日志存储到 GCS 文件夹。

我当前的 log4j.properties 如下所示：

# Set everything to be logged to the console
log4j.rootCategory=WARN, console

# define console appender
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.out
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

#application log
log4j.logger.surya.pyspark.poc=INFO, console, file
log4j.additivity.surya.pyspark.poc=false

#define rolling file appender
log4j.appender.file=org.apache.log4j.RollingFileAppender
log4j.appender.file.File=gs://dataproc-gs/surya/surya_app_logs.log

如果我给出这样的路径......它不会存储在 GCS 中。请问有什么建议..？

我也试过给spark.driver.extraJavaOptions在火花提交属性中。但它仍然无法正常工作。

不，log4j 不支持 GCS。

标签： apache-spark google-cloud-platform log4j log4j2 google-cloud-dataproc

【解决方案1】：

不，log4j 不支持将 HDFS 或 GCS 作为附加程序，但您可以为其实现自定义附加程序，请参阅1。

【讨论】：