【发布时间】:2014-01-07 11:28:23
【问题描述】:
我了解 Splunk 不需要 MySQL 数据库提供的大量功能,而且要对大数据进行索引和执行搜索,使用关系数据库可能不是一个好的选择。
Splunk 是否使用 Lucene 作为搜索引擎,或者他们是否制作了磁盘数据格式?
如果我提出问题的方式有任何问题,我很抱歉。这是我关于 Stack Overflow 的第一个问题。
【问题讨论】:
我了解 Splunk 不需要 MySQL 数据库提供的大量功能,而且要对大数据进行索引和执行搜索,使用关系数据库可能不是一个好的选择。
Splunk 是否使用 Lucene 作为搜索引擎,或者他们是否制作了磁盘数据格式?
如果我提出问题的方式有任何问题,我很抱歉。这是我关于 Stack Overflow 的第一个问题。
【问题讨论】:
Splunk 使用自己的搜索引擎,它不基于任何第三方。
它的搜索引擎仅基于文件,其背后没有数据库。 它不存储字段,而仅存储原始数据。这些字段是在搜索期间提取的,因此非常动态。 在数据中查找关键字的速度也非常快(大海捞针)。
更详细地说,Splunk 以以下方式存储数据:
来源: http://www.splunk.com/web_assets/pdfs/secure/Splunk_for_BigData.pdf http://docs.splunk.com/Documentation/Splunk/6.5.1/Indexer/Howindexingworks
+3 年经验 Splunk 架构师。
【讨论】:
谷歌搜索会有所帮助:http://answers.splunk.com/answers/43533/search-capabilities-of-splunk-how-powerful-is-it-really --> 没有 Lucene
【讨论】:
Splunk 的索引具有专有的数据格式。 不使用 Lucene,Splunk 有自己的搜索语言,称为 SPL。
【讨论】: