Marklogic 中的 FileType 方面答案

【问题标题】：FileType facet in MarklogicMarklogic 中的 FileType 方面
【发布时间】：2016-07-17 16:34:23
【问题描述】：

背景：我在 Marklogic 生产数据库中加载了 500k 文档。我们有一个使用 CPF 的处理管道，用于文档摄取。我存储文档的 MIME-Type。

我需要基于 FileType 的 facet。我不能使用 MIME-Type 进行刻面，因为普通用户不了解 MIME-Type，而且他们更熟悉扩展名（Excel、Word、Jpeg 等...）。我的问题是多个 MIME-Types 可以映射一次单一文件类型，例如：- Excel 有 10 个或更多 MIME 类型，我想将它们全部映射到 Excel。

以下是我提出的关于如何实施的 2 种可能性。我想知道是否还有其他好的方法可以实现这一目标..

我有一个“转换”方法，它基本上采用基于 MIME-Type 生成的分面，并将所有各种 MIME-Type 分组到一个文件类型。我有一个配置文件 (XML)，其中包含 MIME 类型到文件类型的所有映射。这样，当新的 MIME 类型被添加到文件类型时，我所能做的就是编辑这个配置文件..
这种方法的缺点是，在进行搜索查询时，我需要将搜索字符串扩展为具有自定义约束，因此文件类型被转换为每个单独的 MIME 类型。
第二个选项，在摄取过程中，我添加文件类型，这将解决我的分面和搜索问题。
此选项的缺点是我需要将 FileType 添加到所有现有的 500k 文档中，在此之前我需要禁用 CPF 或添加某种逻辑，当 CPF 在这些 500k 文档上被触发时，我告诉不要采取任何行动。由于它是生产数据库，我无权禁用 CPF 以获取新文档。

我喜欢第二个选项，但有没有比更改我的 CPF 代码或禁用触发器数据库一段时间更好的方法？

还有哪一个（1 或 2）是更好的方法？我想知道是否有比这些更好的选择..

【问题讨论】：

标签： marklogic marklogic-8

【解决方案1】：

您准确地列出了这两个选项。在查询时执行，或在索引时执行。你准确地列出了利弊。我的建议：如果它足够快，您可以在查询时执行此操作，并且如果可以接受更高级代码的维护，那么请执行此操作。否则将知识写入文档。

【讨论】：

【解决方案2】：

我认为只有 50 万个文档，查询时间就足够快了。您可能会为此目的利用此分组约束：https://github.com/grtjn/ml-constraints#grouping-constraint

您可以使用MLPM 安装和部署它。之后，您可以在搜索选项中使用类似这样的内容：

<constraint name="Attachment-Type">
  <custom>
    <parse apply="parse-structured" ns="http://marklogic.com/grouping-constraint" at="/ext/mlpm_modules/ml-constraints/grouping-constraint.xqy"/>
    <start-facet apply="start" ns="http://marklogic.com/grouping-constraint" at="/ext/mlpm_modules/ml-constraints/grouping-constraint.xqy"/>
    <finish-facet apply="finish" ns="http://marklogic.com/grouping-constraint" at="/ext/mlpm_modules/ml-constraints/grouping-constraint.xqy"/>
    <facet-option>limit=5</facet-option>
    <facet-option>frequency-order</facet-option>
    <facet-option>descending</facet-option>
    <facet-option>any</facet-option>
  </custom>
  <annotation>
    <range type="xs:string" facet="true" collation="http://marklogic.com/collation//S1">
      <element ns="http://my-namespace.com" name="mime-type"/>
    </range>
    <config>
      <group label="Audio">
        <match pattern="audio/*"/>
      </group>
      <group label="Video">
        <match pattern="video/*"/>
        <match pattern="application/vnd.rn-realmedia"/>
      </group>
      <group label="Documents">
        <match pattern="application/msword"/>
        <match pattern="application/vnd.wordperfect"/>
        <match pattern="application/x-wordstar"/>
        <match pattern="application/pdf"/>
        <match pattern="application/postscript"/>
        <match pattern="application/rtf"/>
        <match pattern="application/x-xywrite"/>
        <match pattern="application/x-mass11"/>
      </group>
      <group label="Spreadsheets">
        <match pattern="application/vnd.ms-excel"/>
      </group>
      <group label="Presentations">
        <match pattern="application/vnd.ms-powerpoint"/>
      </group>
      <show-remainder label="Other"/>
    </config>
  </annotation>
</constraint>

但是，性能会随着您提供的组和模式的数量以及文档总数的增加而降低。一旦文档总数超过数百万，这可能需要相当长的搜索解决时间。在这种情况下，您最好预先计算组..

HTH！

【讨论】：

【解决方案3】：

如果您担心性能并喜欢预先计算，请考虑利用 CPF，而不是与之抗衡。确保你的 CPF 管道可以检测到不需要做任何工作的情况（以防止事情被添加两次等），并让它填补缺失的部分。一旦您确定以这种方式配置了 CPF，并且您已经添加了添加文件类型的逻辑，只需通过使用类似于 xdmp:document-insert($uri, doc($uri), xdmp:document-get-permissions($uri), ....).. 的内容重新插入文件来触摸文件。

HTH！

【讨论】：