【问题标题】:Is it possible to retrieve Hbase data along with Solr data?是否可以与 Solr 数据一起检索 Hbase 数据?
【发布时间】:2015-07-15 13:46:59
【问题描述】:

我有用于搜索和可视化的 Hbase、Lily、Solr 和 Hue 管道。我可以使用 Hue 搜索 Solr 中索引的数据,但我无法查看所有必需的数据,因为我没有将 Hbase 中的所有字段都存储在 Solr 中。我也不打算存储所有数据。

那么有没有办法从 Hbase 中检索这些字段以及 Solr 响应以使用 Hue 可视化数据?

据我所知,我相信可以设置 Solr searchhandler 来执行此操作,但我无法找到具体示例来帮助我更好地理解(我对 Solr 和Hbase,所以例子有帮助)

我的问题类似于this question。但我无法在此处发表评论以获取更多信息。

感谢 Romain 的建议,目前的解决方案: 使用 HTML 小部件为 Hue 搜索页面中的每条记录提供一个链接,返回到 Hbase 浏览器上的 Hbase 记录。

【问题讨论】:

    标签: solr hbase hue


    【解决方案1】:

    其中一种方法是,从 solr 获取所需的 id,然后从 Hbase 获取实际数据。那么 solr 会根据您的查询以及一些分面功能为您提供计数。一旦这些被提取,你总是在 Hbase 中拥有数据。 Solr 最适合索引搜索。因此,考虑到速度和空间折衷,这种设计可以提供帮助。另一个主要原因是,当基于行键进行搜索时,Hbase 为您提供了整行的良好获取时间。因此,整体性能也取决于您的 Hbase 行键设计。

    如果我没记错的话,我认为您正在使用 lily Hbase 索引器。所以默认情况下,doc id 是 hbase 行键,这可能会让事情变得简单

    【讨论】:

    • 谢谢。这也是我的一般想法,是的,我使用的是 Lily Hbase Indexer,而 doc id 是 hbase 行键。那么更具体地说,是否可以将 Hbase 数据作为 Solr 查询结果的一部分,还是必须是外部进程?
    • 理想的方法是从 solr 获取 facet 计数、id,然后从数据源完成数据。如果有帮助,您可以投一个有用的投票,并等待其他人的回答。谢谢
    • 谢谢。我会看看我怎么能做到这一点。如果您能指导我找到任何可以提供帮助的资源,那就太好了。我不完全确定“来自数据源的完整数据”将如何工作。
    • 我的意思是说,当您使用 Hbase 索引器时,您的 solr 文档 id 是 hbase 行键。因此,您使用任何索引字段搜索 solr 并获得 id。那是行键。那么你去hbase(可能是hbase java客户端代码),将该id作为行键,并在你有完整数据的hbase中获取整行
    • 是的,我明白了。这将是检索 ID 并使用它从 Hbase 获取行的两步过程。如果我正在构建自己的搜索 UI,我可以通过编程方式做到这一点。但是由于我使用诸如 Banana/Hue 之类的工具进行可视化,这些工具直接作用于 Solr 结果,是否可以通过任何方式配置/编程 Solr 以便它为我从 Hbase 中获取数据?我的意思是说 Solr 可以提供它的结果和 Hbase 结果作为它的 JSON 响应的一部分吗?
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2016-07-02
    • 2018-05-11
    • 2017-09-07
    • 2017-11-02
    • 2018-02-28
    • 2018-12-17
    • 1970-01-01
    相关资源
    最近更新 更多