【问题标题】:Full text indexing on large files (more than 32k)大文件的全文索引(超过 32k)
【发布时间】:2016-05-12 04:42:39
【问题描述】:

是否可以在大小超过 32kB 的 blob 上使用 Azure 搜索?我在 Azure 上以 blob 形式存储了大约 500GB 的文本文件。平均 blob 大小约为 1MB。我非常兴奋地尝试使用 Azure 搜索对文件进行全文搜索。但是,看起来索引字段 Edm.String 不能超过 32kB。我在任何地方都找不到这个确切的限制,我从门户中的错误消息中提取了这个信息。

Azure 上是否有任何开箱即用的解决方案可用于在 Blob 上添加全文搜索功能? Azure 团队是否计划移除 32kB 的字段大小?

【问题讨论】:

    标签: azure-cognitive-search


    【解决方案1】:

    这里可能有两个不同的限制:

    1. Azure 搜索对从 blob 中提取的字符数有限制,具体取决于定价层。对于免费套餐,该限制为 32*1024 个字符。对于标准 S1 和 S2 定价层,它是 400 万个字符。

    2. 另外,搜索索引中单个词的大小有限制 - 它也恰好是 32KB。如果您的搜索索引中的content 字段标记为filterable、facetable 或sortable,那么您将达到此限制(无论该字段是否标记为searchable)。通常对于大型可搜索内容,您希望启用searchable,有时启用retrievable,但不启用其余内容。这样你就不会从索引端达到内容长度的限制。

    我们意识到现在没有记录特别是第一个限制;我们将很快在我们的配额和限制页面中反映这一点。

    【讨论】:

    • 感谢您的回答尤金。我今天一定会尝试S1。字符限制是否假定 ASCII 或 UTF-8 字符? blob 的内容类型会影响字符数限制吗?您是否还有文档如何使content 可搜索?因为我认为此时文件被提取到content 字段(这是我看到限制错误的地方)。
    • 限制是指我们提取的字符,总是 UTF-8。 Blob 的内容类型不影响此限制。要使 content 字段可搜索,只需在创建索引时将其标记为可搜索,无论是在 UI 中还是以编程方式。
    猜你喜欢
    • 1970-01-01
    • 2017-08-12
    • 1970-01-01
    • 2016-05-13
    • 1970-01-01
    • 2013-06-24
    • 1970-01-01
    • 2014-01-11
    • 2012-10-03
    相关资源
    最近更新 更多