存储 HTML 文件

Question

我们有大约 6000 万个压缩格式的网页。我们想单独解压缩和处理这些文件。

这是我的问题！

首先，如果我将它们解压缩到文件系统中，FS 会处理这么多文件吗？我的文件系统是 ext4。 （我有 4 个不同的文件系统，因此我可以在它们之间划分数据，例如每个文件系统的 15 M 页）

其次，将这些文件存储到关系数据库中会是更好的选择吗？假设所有清理 html 文本的麻烦都在将它们插入数据库之前完成。

谢谢，

Answer 1

如果您将它们提取到单个目录中，您可能会超过该文件夹中分配的最大索引。如果您将它们提取到多个目录中，您会更好。

6000 万绝对是一个公平的数额，如果您打算对它们进行任何索引或搜索，那么数据库将是您的最佳选择，您可以使用 lucene 之类的东西对文件进行索引，这完全取决于您想要什么与提取文件之后有关。

我目前在大型用户网站上遇到了类似的图像问题，我解决此问题的方法是为每个图像提供一个 GUID，并为 guid 中的每个字节将其分配到不同的目录，然后下一个字节一个子目录（最多 8 个字节）如果我的填充率上升，我将创建更多子目录来补偿，这也意味着我可以将它分布在不同的网络存储箱中。