我们使用的是 FreeBSD(文件系统 UFS),而不是 Linux,因此某些细节可能会有所不同。
背景
我们在这个系统上有数百万个文件,需要尽快从网站上提供这些文件,以供个人访问。我们一直使用的系统在过去 16 年中运行良好。
服务器 1(名为:Tom)的主要用户网站具有相当标准的 Apache 设置和 MySQL 数据库。没什么特别的。
服务器 2(名称:Jerry)是存储用户文件的地方,并且已经过定制以快速交付这些小文件。
Jerry 的硬盘在创建过程中进行了调整,以确保我们不会用完 inode - 在创建数百万个小文件时需要考虑这一点。
Jerry 的 Apache 配置针对非常短的连接时间和每个连接的单个文件访问进行了调整。如果没有这些调整,您将有开放的连接坐在那里浪费资源。这个 Apache 配置根本不适合主系统 (Tom),并且会导致许多问题。
由于您提供的是“缩略图”,而不是单个请求,因此您可能需要稍微不同的结构。老实说,我不太了解您的需求,无法真正建议最适合您的网络服务器配置的方法。
过去,我们在多个服务器上使用多个 SCSI 驱动器。目前,我们有一台具有 300MB/s 驱动器的服务器。该业务已经下降了一段时间(感谢 Facebook),但我们仍然每天处理超过 200 万个文件请求。在我们的巅峰时期,每天大约 1000 万。
我们的结构(一个可能的答案)
Jerry 上的所有内容都针对小文件传输进行了调整,仅此而已。
Jerry 是一个网络服务器,但我们将其视为数据库。所有不需要的都被删除。
每个文件都有一个 4 个字符的 ID。 ID 是字母数字 (0-9,a-z,A-Z)。这为您提供了 61*61*61*61 组合(或 13,845,841 个 ID)。
我们也有多个域,因此每个域最多有 13,845,841 个 ID。在 Facebook 出现之前,我们已经非常接近这个限制的流行“域”,我们已经准备好允许 5 个字符 ID 的计划,但最终不需要它。
如果您知道文件的完整路径,文件系统查找会非常快。如果您需要扫描文件匹配,它只会很慢。我们充分利用了这一点。
每个 4 个字符的 id 是一系列目录。例如,aBc9 是 /path/to/a/B/c/9。
仅 4 个目录中的唯一 ID 数量非常多。每个目录最多有 61 个子目录。在不占用文件系统索引的情况下创建快速查找。
位于目录./9(ID 中的最后一个目录)中的是必要的元数据文件和原始数据文件。元数据是一个已知的文件名,数据文件也是如此。我们在每个文件夹中还有其他已知文件,但您明白了。
如果用户正在更新或检查元数据,则 ID 是已知的,因此会返回对元数据的请求。
如果再次请求数据文件,则 ID 是已知的,因此返回数据。不执行扫描或复杂检查。
如果ID无效,则返回无效结果。
没有什么复杂的,一切都是为了速度。
我们的问题
当您谈论数百万个小文件时,可能会用完 inode。请务必从一开始就将此因素考虑到为服务器创建磁盘。提前计划。
我们禁用和/或编辑了一些 FreeBSD 系统检查。维护 cronjobs 不是为有这么多文件的系统设计的。
Apache 配置需要经过反复试验才能使其恰到好处。当你得到它时,解脱是巨大的。 Apache 的mod_status 很有帮助。
首先要做的是禁用所有日志文件。接下来,禁用所有内容并仅重新添加您需要的内容。
元数据和原始数据的传递(和保存)代码也进行了非常优化。忘记代码库。多年来,每一行代码都经过反复检查,以确保速度。
结论
如果您确实有很多缩略图,请拆分系统。从为此优化的专用服务器提供小文件。保持对主系统进行调整以实现更标准的使用。
只要您不需要扫描文件,基于目录的 ID 系统(即随机 4 个字符或 MD5 的一部分)可以很快。
您的基本操作系统需要进行调整,以便系统检查不会占用您的系统资源。
禁用网络服务器日志文件的创建。您几乎永远不需要它,它会在文件系统上造成瓶颈。如果您需要统计信息,可以从mod_status 获得总体概览。
说实话,关于您的个人案例和需求的信息还不够多。我不确定我的任何个人经历是否会有所帮助。
祝你好运!