存储大量 Unicode 文本的最佳方式是什么？

Question

我正在开发一个需要存储大约 15k Unicode 字符的项目。最好的存储方式是什么？

主应用程序使用 C# 编写，其他一些数据存储在 SQL Server DB 中。这种大量的文本需要以某种方式通过随机生成的条目键和类别键来识别。显然，可能/应该有多个条目具有相同的类别键。

这些条目将被添加、检索并使用关键字按类别键进行搜索。

我目前正在研究以下 2 种方式：（非常欢迎其他想法）

---

文件

每个类别键表示为一个文件夹，每个条目表示为一个文件，使用条目键作为文件名。

要进行搜索，我只需使用 Apache Lucene.Net 项目来构建索引并通过它进行搜索。

---

SQL 服务器

只是作为NVARCHAR(MAX) 类型的另一列存储在表中。

---

以下哪种方式最好？我正在寻找其他选项，以及这些选项的优缺点。

Answer 1

要回答您的问题，您必须回答以下问题：

1. 您会存储超过 2 GB 的数据吗？ nvarchar(max) 中的最大数据为 2 GB。
2. 您是否会在 sql server 中处理这些数据（全文搜索、分组等）？您不能按文件中的数据加入或分组。
3. 您需要事务性操作吗？您可以添加文件，但无法将记录添加到数据库和副版本。

因此，假设您对这些问题有答案，您就可以做出决定。 我的建议 - 将大数据存储在文件或其他 blob 存储（azure blob、amazone 等）中，并有一个包含这些文件列表的表。

优点：

1. 小型数据库 - 易于备份，易于恢复
2. 对文件列表表的快速查询（计数、连接、分组等）

缺点：

1. 您需要保持数据库和文件存储同步
2. 您有非事务性操作，但可以通过操作顺序忽略它：保存（或删除）文件，然后在数据库中进行更改。因此，如果您在 DB 上失败，只需从第一步开始操作即可。

Answer 2

将所有数据保存在一个数据存储中要容易得多。我会选择 SQL 服务器解决方案。

但是，如果您主要关心存储空间并且文本主要是 ASCII，那么编码为 UTF-8 将节省约 50%。 SQL Server 不支持 UTF-8，只支持 UTF-16 (UCS-2)。所以保存一个单独的文件可能有好处。