Graylog GELF 最大字段大小

Question

我正在尝试将 Web 服务输入/输出作为 xml 插入 Graylog。为此，我使用了“GELFJ - A GELF Appender for Log4j and a GELF Handler for JDK Logging”。下面是示例代码：

public static void main(String[] args) throws IOException {
    GelfSender gelfSender = new GelfTCPSender("172.21.120.139", 12201);

    String xmlMessage = readFile("c:\\temp\\xml.xml");

    GelfMessage message = new GelfMessage("short message", "long message", System.currentTimeMillis(), "1");
    message.setHost("localhost");

    message.addField("XML", xmlMessage);
    message.addField("LEN", xmlMessage.length());

    if (message.isValid()) {
        GelfSenderResult result = gelfSender.sendMessage(message);
        Exception exception = result.getException();
        if (exception != null) {
            exception.printStackTrace();
        }
    } else {
        System.err.println("Message is not valid!");
    }
}

这是 GELF TCP 输入属性。

我无法插入大于 20k（字符）的消息字段。并且消息总大小大于 1.6 MB。

我的问题是消息字段的限制和消息总大小（以字节为单位）是什么？

Answer 1

Graylog 和 GELF 协议本身没有任何大小限制，但应注意 Lucene（Elasticsearch 的底层库）对于分析字段（例如“消息”和“完整消息”）的每个字段的限制为 32 KiB GELF 消息的字段）。

鉴于 Elasticsearch 和 Graylog 中的默认编码是 UTF-8，这 20.000 个字符可以大致匹配 32 KiB 的最大字段大小（对于分析的字段）。未分析的字段可以（几乎）任意大。

有关 GitHub 上的相关问题，请参阅 https://github.com/Graylog2/graylog2-server/issues/873。