【发布时间】:2016-08-11 20:05:39
【问题描述】:
我完成了第一个 spark 应用程序的创建。为了了解它的性能,我需要大文件 (.csv) 来做一些测试和实验来监控我的应用程序以便对其进行调整。
我们都知道数据的大小对结果有严重的影响,但是我拥有的所有 files.csv 都很小,所以我无法信任或确认我得到的结果。
如何获取大尺寸文件?请帮帮我
我需要大尺寸,例如:
10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB.....
【问题讨论】:
-
您是否尝试过搜索大型 csv 生成器?那里有很多服务......
-
还有很多大型 CSV 数据集可用,例如可以下载 2000 年美国人口普查数据。
-
好的,我试试,谢谢
标签: performance csv testing apache-spark cluster-computing