Splunk：使用唯一字段记录重复数据删除答案

【问题标题】：Splunk : Record deduplication using an unique fieldSplunk：使用唯一字段记录重复数据删除
【发布时间】：2021-08-03 23:54:35
【问题描述】：

我们正在考虑将日志分析解决方案从 ElasticSearch/Kibana 迁移到 Splunk。

我们目前在 ElasticSearch 中使用“文档 ID”在索引时删除重复记录：

我们使用每个日志记录内容的哈希值生成 id。

在 Splunk 中，我发现内部字段“_cd”对于 Splunk 索引中的每条记录都是唯一的：https://docs.splunk.com/Documentation/Splunk/8.1.0/Knowledge/Usedefaultfields

但是，使用 HTTP 事件收集器来摄取记录，我找不到任何方法在请求中嵌入这个“_cd”字段： https://docs.splunk.com/Documentation/Splunk/8.1.0/Data/HECExamples

关于如何在 Splunk 中实现这一点的任何提示？

【问题讨论】：

【解决方案1】：

你想达到什么目的？

如果您向 HEC 发送“唯一”事件，或者您在“唯一”日志上运行 UF，则您将永远不会收到重复的“索引时记录”。

它听起来像您（可能是例行公事？）将相同的数据重新发送到您的聚合平台 - 这不是 聚合器 的问题，而是您的发送进程。

几乎就像您正在执行MySQL/PostgreSQL“如果不存在则插入”操作。如果这是对您的情况的正确理解，基于您的陈述

我们目前在 ElasticSearch 中使用“文档 ID”在索引时删除重复记录：
https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-index_.html
我们使用每个日志记录内容的哈希生成 id。

那么您需要评估在您的发送过程中发生了什么“错误”，您认为您需要在摄取数据之前对其进行预清理。

确实，Splunk 不会“在编制索引时删除重复记录” - 因为它假定从提交的任何内容中传入的数据都是“正确的”。

首先您是如何获得重复数据的？

Splunk 中以下划线开头的字段（例如 _time、_cd 等）不可可编辑/可发送 - 它们由 Splunk 在以下情况下生成它接收数据。 IOW，它们都是 internal 字段。可搜索。可用。但不可覆盖。

如果您真的遇到了[大量/太多]重复数据的问题，并且无法修复您的发送过程[es] ，那么您将需要依赖 SPL 中的重复数据删除 operations searching 来报告/报告您摄取的任何内容（主要使用 stats 并且，当绝对必要/不可避免时，dedup)。

【讨论】：

【解决方案2】：

HEC 输入不通过通常的摄取管道，因此并非所有内部字段都存在。

这并不重要，真的，因为 Splunk 不会在索引时进行重复数据删除。没有规定搜索数据以查看给定记录是否已经存在。任何重复数据删除都必须在搜索时完成。

不能在搜索时使用 _cd 字段进行重复数据删除，因为两条相同的记录将具有不同的 _cd 值。

考虑使用 Cribl 等工具为每条提取的记录添加一个哈希，并在 Splunk 中使用该哈希在您的搜索中删除重复数据。

【讨论】：

【解决方案3】：

很好的电话@RichG。 Cribl 为这个用例提供了一些不错的选择。

请注意，如果您使用 Cribl LogStream，您可以将其他字段添加到 HEC 数据。您可以使用LogStream 获得更多选择。它为我的老团队节省了很多时间和精力。

【讨论】：