存储文件的最佳实践 [关闭]

Question

我正在构建一个需要处理其用户上传的存储文件（主要是图像和 pdf 文件）的应用程序。一种存档应用程序。 为了以最有效的方式存储文件，我正在寻找一些关于在服务器上存储文件的最佳实践指南。

我曾尝试在谷歌上研究这个主题，但我没有找到有用的知识。
我很确定这是一个非常受欢迎的话题，我只是没找对地方。

也许有人可以向我推荐有关此问题的文章或提供一些关键字供我搜索，以回答这些问题：

1. 是否应该存储文件并共享应用程序使用的同一台服务器？还是应该将它们存储在与网络应用服务器分开的不同的专用服务器中？
2. 在服务器上存储文件时需要执行哪些操作，以使其消耗尽可能少的资源。
   1. 安全问题
   2. 该领域最受欢迎的平台是什么？

感谢您的帮助

Answer 1

这取决于有多少用户、多少同时连接、多少文件。如果您的目标是 PB 级数据大小，事情总是很复杂（参见例如GlusterFS）！

我会生成文件名。您可能希望拥有数百个目录，每个目录都有数千个文件（这取决于很多文件系统；ext4 可能比 ext3 更好）。所以像dir034/file12345.jpeg 这样的东西（并将该文件路径存储在某个数据库中）。

^{一些旧文件系统在访问大目录中的给定文件时具有线性复杂性。在处理（例如自动完成）包含数百万个文件的目录时，shell 可能会不高兴。因此，我的建议是避免包含数千个文件的目录！}

您可能会以不同的方式处理非常小的内容（例如小于一千字节），可能会将它们直接存储在某个数据库行中...