Splunk：并非为长 JSON 文件提取所有字段值答案

【问题标题】：Splunk: Not all field values are extracted for long JSON filesSplunk：并非为长 JSON 文件提取所有字段值
【发布时间】：2021-11-03 09:41:32
【问题描述】：

我正在尝试将长 JSON 文件提取到我的 Splunk 索引中，其中一条记录可能包含超过 10000 个字符。为了防止长记录被截断，我在我的props.conf 中添加了一个TRUNCATE=0，并将整个记录提取到索引中。所有事件都被转发并存储在索引中，但我遇到了出现在 JSON 记录末尾的字段的问题。

我目前正在测试 2 个文件：

文件 A 有 382 条记录，其中 166 条为长记录。
文件B有252条记录，都是长记录。

通过简单的索引搜索返回所有634个事件，无论事件多长时间，我都可以看到每个事件中的所有字段。

但是，并非所有字段都被提取并可直接搜索。例如，其中一个字段名为 name，它出现在每条 JSON 记录的末尾。在Interesting fields 窗格中，在name 下，它仅显示来自文件 A 的 216 个事件的计数，并且没有显示文件 A 和 B 中剩余的 166 + 252 个长事件。这对于出现在每个 JSON 记录的结尾，但记录开头的字段显示所有 634 个事件。

如果我否定 216 个事件，那么这些字段根本不会出现在“字段”窗格中。

另外，虽然我不能直接搜索name=<name in File B>，但我仍然可以从事件和add to search中选择字段，并且将返回所有252个事件。

我不确定为什么这些字段没有被正确提取，即使它们似乎没有被截断。如何正确提取它们？

【问题讨论】：

标签： json splunk indexer

【解决方案1】：

如果这是一次性用例，我建议使用索引提取。您将确保所有字段都可用；我敢打赌，就每个事件的搜索时间字段而言，您在某处遇到了限制。但请注意，索引提取会耗尽您的存储空间。

如果这是一项重复的任务，我会尝试进行故障排除。 _internal 中的任何内容都会出错？可能是字符集问题。也可能是 [kv] 的限制。我会尝试在这节https://docs.splunk.com/Documentation/Splunk/latest/Admin/Limitsconf#.5Bkv.5D的limits.conf中设置limit=0@

【讨论】：