为 Azure 搜索索引 blob 内容时“内容”太大

Question

我为 Azure 设置了 Blob 索引和全文搜索，如本文所述：Indexing Documents in Azure Blob Storage with Azure Search。

我的一些文档在索引器中失败，抛出返回以下错误：

“内容”字段包含一个太大而无法处理的字词。 UTF-8 编码术语的最大长度为 32766 字节。此错误的最可能原因是在此字段上启用了过滤、排序和/或分面，这会导致整个字段值被索引为单个术语。请避免将这些选项用于大型字段。

产生此错误的特定 pdf 文件大小为 3.68 MB，包含各种内容（文本、表格、图像等）。

索引和索引器的设置与那篇文章中描述的完全一样，只是增加了一些文件类型限制。

索引：

{
    "name": "my-index",
    "fields": [{
        "name": "id",
        "type": "Edm.String",
        "key": true,
        "searchable": false
    }, {
        "name": "content",
        "type": "Edm.String",
        "searchable": true
    }]
}

索引器：

{
    "name": "my-indexer",
    "dataSourceName": "my-data-source",
    "targetIndexName": "my-index",
    "schedule": { 
        "interval": "PT2H"
    },
    "parameters": {
        "maxFailedItems": 10,
        "configuration": {
            "indexedFileNameExtensions": ".pdf,.doc,.docx,.xls,.xlsx,.ppt,.pptx,.html,.xml,.eml,.msg,.txt,.text"
        }
    }
}

我尝试搜索他们的文档和其他一些相关文章，但我真的找不到任何信息。我猜这是因为此功能仍处于预览阶段。

Answer 1

搜索索引中单个词的大小是有限制的 - 它也恰好是 32KB。如果您的搜索索引中的content 字段标记为filterable、facetable 或sortable，那么您将达到此限制（无论该字段是否标记为可搜索）。通常对于大型可搜索内容，您希望启用searchable，有时启用retrievable，但不启用其余内容。这样你就不会从索引端达到内容长度的限制。

请参阅this answer 了解更多上下文。