【问题标题】:Is it possible to store in solr full html page source code?是否可以将完整的 html 页面源代码存储在 solr 中?
【发布时间】:2013-02-12 09:48:35
【问题描述】:

在我之前的问题中,我得到的答案是我可以在 solr 中存储小型索引(少数站点)数据,而无需使用任何数据库 (Is it possible to store data in solr?)。我想知道,是否可以在不使用任何数据库的情况下将完整的 html 页面源代码存储在 solr 中?

【问题讨论】:

    标签: java solr nutch


    【解决方案1】:

    Nutch 与 Solr 是一个解决方案,如果您想抓取网站并将其编入索引。
    Nutch with Solr Tutorial 将帮助您入门。
    但是,Nutch 不会使用 html 标签维护原始 Solr 代码。

    您需要通过下载 html 页面来开发自定义解决方案,然后可以使用 Solr Extracting Request Handler 向 Solr 提供 HTML 文件并从 html 文件中提取内容。例如在link

    Solr 使用Apache Tikauploaded html file 中提取内容

    如果您将数据作为 html 文本提供,也可以检查 HTMLStripCharFilterFactory

    【讨论】:

    • 我可以使用nutch来下载html页面吗?
    • Nutch 是一个爬虫,它可以帮助你爬取页面并索引 Solr 中的内容。但是,您不会拥有原始内容。
    • 我可以在索引中存储两部分数据吗(第一个是来自 nutch 的内容数据,第二个是来自任何 html 解析器的原始源代码),你怎么看?
    • nope .. 我认为您不会从 nutch 获得原始内容。你可能想检查一下是否可行。
    • 可能有其他软件解决方案可以解决我的任务,你知道吗?
    猜你喜欢
    • 2012-07-22
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-02-07
    • 2020-12-27
    相关资源
    最近更新 更多