用于 kafka appender 的 Log4j 故障转移答案

【问题标题】：Log4j failover for kafka appender用于 kafka appender 的 Log4j 故障转移
【发布时间】：2021-08-02 13:36:08
【问题描述】：

我正在尝试设置我的应用程序以使用 Log4j 的 Kafka appender 将日志写入 Kafka。我已将 kafka 客户端添加到我的类路径中，并使用相关配置配置了 kafka appender。当 Kafka 集群可用时，我可以接收所有日志。

但如果 Kafka 出现故障，我必须登录到辅助位置，以免日志事件丢失。为此，我正在使用 FailOver appender，但它似乎仍然不起作用。

以下是我的完整 log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="WARN" monitorInterval="10">
    
    <Properties>
        <Property name="log-pattern" value="[%5.-5p]-[%d{UNIX_MILLIS}]-[%-27.-35t]-[%20c{1.}]--- %m%n" />
        <Property name="log-file-location" value="${sys:user.home}/app/logs" />
        <Property name="kafka-server-address" value="localhost:9092" />
        <Property name="kafka-topic-name" value="app-core-logs" />
    </Properties>

    <Appenders>

        <Kafka name="kafka" topic="${kafka-topic-name}">
            <JsonLayout />
            <Property name="bootstrap.servers">${kafka-server-address}</Property>
        </Kafka>

        <RollingFile name="rolling-file" fileName="${log-file-location}/app-core.log" filePattern="${log-file-location}/app-core-%d{MM-dd-yyyy}-%i.log.gz">
            <Policies>
                <OnStartupTriggeringPolicy />
                <SizeBasedTriggeringPolicy size="20 MB" />
                <TimeBasedTriggeringPolicy />
            </Policies>
            <DefaultRolloverStrategy fileIndex="nomax" />
        </RollingFile>

        <Console name="console">
            <PatternLayout pattern="${log-pattern}" />
        </Console>

        <FailOver name="fail-over" primary="kafka">
            <Failovers>
                <AppenderRef ref="rolling-file" />
                <AppenderRef ref="console" />
            </Failovers>
        </FailOver>

        <File name="internal-logs" fileName="${log-file-location}/app-core-internal.log">
            <PatternLayout pattern="${log-pattern}" />
        </File>

    </Appenders>
    <Loggers>
        <Root level="INFO" includeLocation="false">
            <AppenderRef ref="fail-over" />
        </Root>
        <Logger name="io.netty" level="INFO" includeLocation="false" additivity="false">
            <AppenderRef ref="internal-logs" />
        </Logger>
        <Logger name="io.vertx" level="INFO" includeLocation="false" additivity="false">
            <AppenderRef ref="internal-logs" />
        </Logger>
        <Logger name="com.mchange" level="INFO" includeLocation="false" additivity="false">
            <AppenderRef ref="internal-logs" />
        </Logger>
    </Loggers>
</Configuration>

由于当 kafka 集群关闭时应用程序是在 vert.x 上构建的，所以我看到的只是线程块并且应用程序没有响应，并且在所有配置的故障转移附加程序中没有其他可用日志。我正在使用 Log4j 2.13.0 并使用目前最新版本的 Log4j 2.14.1 进行了测试。

尝试添加 retryIntervalSeconds 属性，但没有任何区别。

【问题讨论】：

标签： java log4j log4j2

【解决方案1】：

它不起作用，因为默认情况下 KafkaAppender 会忽略异常。来自 log4j2 KafkaAppender 文档

ignoreExceptions 布尔值
默认值为 true，导致在附加事件时遇到的异常被内部记录，然后被忽略。当设置为 false 时，异常将被传播给调用者。将此 Appender 包装在 FailoverAppender 中时，必须将其设置为 false。

将 ignoreExceptions 设置为 false，以便 Appeder 知道出现问题并将消息传播到故障转移。

【讨论】：