【问题标题】:How to count the number of times value exists in line?如何计算值存在的次数?
【发布时间】:2016-11-17 10:17:58
【问题描述】:

我的数据是这样的..,

[123:1000,156,132,123,156,123]
[123:1009,392,132,123,156,123]
[234:987,789,132,123,156,123]
[234:8765,789,132,123,156,123]

我需要在nifi中使用表达式语言计算每行中“123”存在的次数。

我只需要用表达语言来做。我怎么数呢?

任何帮助表示赞赏。

【问题讨论】:

    标签: regex apache-nifi


    【解决方案1】:

    您应该使用SplitContent 处理器将流文件内容拆分为每行单独的流文件,然后将ExtractText 与pattern=(123)? 之类的正则表达式一起使用,这将导致将属性添加到流文件中每个匹配组:

    [123:1009,392,132,123,156,123] -> pattern.1, pattern.2, pattern.3 [234:987,789,132,123,156,123] -> pattern.1, pattern.2

    最后,您可以使用ScanAttribute 处理器来检测每个流文件中具有最高组数的属性,并将其路由到UpdateAttribute 以将该值放入通用流文件属性(即count) .您还可以用ExecuteStreamCommand 替换一些步骤,并使用各种操作系统级工具(grep/awk/sed/cut/等)来执行计数,返回该值,然后更新流文件的内容。

    在ExecuteScript 处理器中执行此计数操作可能会更简单,因为它可以在 1-2 行 Groovy、Ruby、Python 或 Javascript 中完成,并且不需要多个处理器。 Apache NiFi 是为数据路由和简单转换而设计的,而不是复杂的事件处理,因此没有为这些任务开发的标准处理器。 "Add processor to perform simple aggregations" 有一个开放的 Jira,其中有一个 patch available here,它可能对您有用。

    【讨论】:

    • ,我有使用这个 ${allMatchingAttributes("pattern.*"):contains("123"):count()} 如果patttern,pattern.0,pattern.1包含它会错误返回123 所以它会返回 3 但它可以返回 2 只是不使用 pattern.1,pattern.2 添加模式属性
    • 有一个布尔配置值来捕获ExtractText 处理器中的组 0。将此设置为false,它不会为整个正则表达式匹配添加属性。
    【解决方案2】:

    根据documentation,计数是这样完成的:

    ${allMatchingAttributes(".*"):contains("123"):count()}
    

    【讨论】:

    • ,我必须创建哪些处理器工作流来运行您的查询?
    • 1234 怎么样?会匹配吗?
    • @Mahendran 我不熟悉 NiFi,我刚刚指出,链接的文档回答了如何计算的问题。看起来您最初的问题不是“计算出现次数”而是“根本如何查询”。我建议您熟悉 Apache NiFi 的基础知识。
    • @NicolasMaltais 老实说,我不知道,但从文档中我猜,列表项“123”与“1234”不同。使用matches("123+") 或startsWith("123") 应该匹配以“123”开头的所有内容
    • @Oli,你的答案很接近。 allMatchingAttributes(".*") 将遍历所有可用的属性,并计算这些属性中有多少包含字符串123。在这种情况下,我不相信数据在属性中,所以它不太正确。此外,它不会计算 123 包含在 each 属性中的次数。
    猜你喜欢
    • 2023-01-07
    • 1970-01-01
    • 2022-01-25
    • 1970-01-01
    • 1970-01-01
    • 2021-09-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多