【问题标题】:Splunk DatabaseSplunk 数据库
【发布时间】:2014-01-07 11:28:23
【问题描述】:

我了解 Splunk 不需要 MySQL 数据库提供的大量功能,而且要对大数据进行索引和执行搜索,使用关系数据库可能不是一个好的选择。

Splunk 是否使用 Lucene 作为搜索引擎,或者他们是否制作了磁盘数据格式?

如果我提出问题的方式有任何问题,我很抱歉。这是我关于 Stack Overflow 的第一个问题。

【问题讨论】:

    标签: lucene splunk


    【解决方案1】:

    Splunk 使用自己的搜索引擎,它不基于任何第三方。

    它的搜索引擎仅基于文件,其背后没有数据库。 它不存储字段,而仅存储原始数据。这些字段是在搜索期间提取的,因此非常动态。 在数据中查找关键字的速度也非常快(大海捞针)。

    1. 将数据分解为基于时间的事件,为每个原始事件附加时间。
    2. 标记事件中找到的每个单词及其在索引中的位置
    3. 以压缩格式 (tar.gz) 存储事件

    更详细地说,Splunk 以以下方式存储数据:

    1. 在事件中快速搜索关键字
    2. 查看原始原始数据
    3. 在原始数据上创建新字段并将它们与统计命令一起使用。

    来源: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks

    +3 年经验 Splunk 架构师。

    【讨论】:

      【解决方案2】:

      【讨论】:

      • 具有讽刺意味的是,这个问题在我的 Google 搜索结果中排名第一。
      【解决方案3】:

      Splunk 的索引具有专有的数据格式。 使用 Lucene,Splunk 有自己的搜索语言,称为 SPL。

      【讨论】:

      • 在我看来,Splunk 会是比其他人更好的选择
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多