索引 Azure WAD 日志数据以提取导入到 splunk 的字段答案

【问题标题】：Indexing Azure WAD logs data to extract fields on import to splunk索引 Azure WAD 日志数据以提取导入到 splunk 的字段
【发布时间】：2013-04-11 13:10:46
【问题描述】：

我们有来自 windows azure WADLogs 的数据，我以逗号分隔导出并最终看起来像这样：

"0635010205200000000","d921c47290f944a69c3394373b5c5988___Pricing.Api___Pricing.Api_IN_0___0000000001652031516___WADLogsLocalQuery",2013-04-08T12:24:04.8000293Z,635010205409475113,"deploymentid","Role","Role_IN_0",5,2,608,3232,"TimeTaken::16043 ms to perform Action::'some action'; TraceSource 'PricingApiTrace' event"

我想提取值为 16043 的名为 TimeTaken 的字段和值为“某些操作”的 Action。

我可以更改以 '"TimeTaken ' 开头的位的格式，如果这会使事情变得更容易，并且希望在阅读 :: 自动创建的字段后使用上述格式将允许索引自动创建字段，但好像不是这样的。

任何指针？

【问题讨论】：

我会在 splunk 帮助页面上询问，但在我验证电子邮件地址之前它不会让我这样做，我拥有并拥有徽章，但它似乎无法识别

标签： logging azure splunk

【解决方案1】：

您可以创建两个search-time field extractions 来为TimeTaken 和Action 创建字段。

您需要为每个字段定义一个正则表达式，考虑到您描述的格式，这应该很简单。

【讨论】：

感谢@seedhead。我知道我可以做到这一点，但我有很多事件，我想在索引时创建字段，这样搜索就会很快，而不是每次都运行正则表达式，我认为这样做可以，不会吗？
在索引时执行的字段提取会降低索引时和搜索时的性能，Splunk 已经过高度优化，可以在搜索时处理字段提取，作为一般规则，他们建议您这样做。在搜索时这样做的另一个好处是灵活性，因为您可以随时更改您的正则表达式，而不必担心更新已编入索引的字段。
好的，谢谢。如果我知道数据将被索引一次然后永远不会改变，这有什么不同吗？所以我不关心索引时间，很乐意牺牲搜索时间的改进。但我会在我的完整数据集上试一试，看看它给了我什么。
可能。先尝试一下搜索时间，因为您以后总是可以添加索引时间提取（并使用此字段回填旧数据）。如果你的搜索性能不好，我会先看看你的索引器和搜索头是如何配置的，因为其他查询也可能很慢。