【问题标题】:how can i get large files to do experimentation我怎样才能得到大文件来做实验
【发布时间】:2016-08-11 20:05:39
【问题描述】:

我完成了第一个 spark 应用程序的创建。为了了解它的性能,我需要大文件 (.csv) 来做一些测试和实验来监控我的应用程序以便对其进行调整。

我们都知道数据的大小对结果有严重的影响,但是我拥有的所有 files.csv 都很小,所以我无法信任或确认我得到的结果。

如何获取大尺寸文件?请帮帮我

我需要大尺寸,例如:

 10 GB, 20 GB, 30 GB, 50 GB, 100 GB, 300 GB, 500 GB..... 

【问题讨论】:

  • 您是否尝试过搜索大型 csv 生成器?那里有很多服务......
  • 还有很多大型 CSV 数据集可用,例如可以下载 2000 年美国人口普查数据。
  • 好的,我试试,谢谢

标签: performance csv testing apache-spark cluster-computing


【解决方案1】:

1) 使用您喜欢的任何语言(例如 Java、C、C++)编写数据生成代码,可以生成海量数据。

2)Jmeter也是一个生成海量数据的工具,通常用于性能测试

希望这个帮助!!!..

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-03-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-01-06
    • 2016-08-07
    相关资源
    最近更新 更多