放置大型测试数据集的最佳实践？

Question

我正在处理大量数据（例如视频），并且大多数集成测试至少需要这些数据的一个体面的子集。

这些测试文件（子集）的范围可以从 200MB 到 2GB。

哪里是放置这些文件的好地方？理想情况下，他们不会直接进入我们的版本控制系统，因为人们不应该在每次想要签出项目时都下载 5GB 以上的测试数据。

每当架构更改发生时，Jenkins 都需要更新测试数据（我们已经弄清楚了这部分），因此如果有人想运行集成测试，maven 或 svn 都需要下载最新版本。

如果它可以按需提供，那就太好了，因为我们从不在本地一次运行所有测试（例如，如果我们正在运行 TestX，则在运行之前下载此测试所需的文件）。

有人对如何解决这个问题有任何建议吗？

编辑 -- 为简单起见，假设测试文件是不可压缩的。

Answer 1

在这种情况下，我将设置一个文件服务器共享，它以一种组织良好的方式包含所有测试数据。然后让您的测试自己下载必要的测试数据。优点是您可以在中心位置更新测试数据，而无需更新测试本身。下次运行测试时，将下载新的测试数据。

如果您需要版本控制，您可以使用像 Nexus 这样的存储库管理器，而不是简单的文件系统。如果您需要审计能力，我建议您使用像 subversion 这样的存储库管理器。但是，请确保您只为您的测试数据使用单独的存储库，这样您就可以通过将其替换为仅加载最新测试数据的空存储库来轻松清理存储库。