大型测试数据文件和github答案

【问题标题】：Large test data file and github大型测试数据文件和github
【发布时间】：2019-11-15 18:04:06
【问题描述】：

我正在竹子中执行测试运行，使用 git 作为我的存储库。现在我需要运行一个测试来检查大数据上传（文件大小约为 400MB。由于 github 上的限制是 100MB，当我尝试推送这个大文件时，git push 超时。有没有其他方式我可以从 github 执行我的测试，从任何其他位置获取此文件？或者有没有办法将此文件推送到 git？

【问题讨论】：

老实说，您可能甚至不应该允许将这么大的文件推送到您的 Git 存储库。我投票赞成只使用一个服务器端钩子来检查如此大的文件并拒绝它们。
另一个需要注意的重要事情是，每当您运行这些测试时，您将下载一个 400mb 的文件，该文件将被丢弃。即使使用 blob 存储（这是我推荐的），这也会大大增加您的成本。我建议重新考虑你的测试套件，这样你就不需要这个 400mb 的文件了。
Github 网站说：当推送大于 50 MB 的文件时，GitHub 会警告你。不允许推送大于 100 MB 的文件。如果您经常将大文件推送到 GitHub，请考虑将 Git 大文件存储 (Git LFS) 作为工作流程的一部分。 Git LFS 与 GitHub Flow 配合得很好，可以用于任何大文件，无论其类型如何。有关详细信息，请参阅“版本控制大文件”。 help.github.com/en/articles/distributing-large-binaries

标签： git testing github large-data

【解决方案1】：

最好在测试运行之前生成这样的文件。

在 Windows 中你可以使用FileGen:

filegen test.txt 1024

将生成带有1024 随机符号的文件test.txt。

或者在你的 bash 中使用这个命令：

head -c 5000 /dev/urandom >data.txt

这将生成包含 5000 个随机符号的 data.txt 文件。

对于您使用 500Mb 文件的情况，生成此类文件大约需要 10 秒。

【讨论】：