喜欢什么gridmix输入格式？答案

【问题标题】：What gridmix input format likes?喜欢什么gridmix输入格式？
【发布时间】：2019-03-07 09:10:59
【问题描述】：

我使用 Rumen mine job-history 文件，包含 job-trace.json 和 job-topology.json。 GirdMix 用法喜欢：

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-gridmix-2.7.3.jar -libjars $HADOOP_HOME/share/hadoop/tools/lib/hadoop-rumen-2.7.3.jar -Dgridmix.compression-emulation.enable=false <iopath> <trace>

而且，表示 Gridmix 的工作目录，所以我输入：file:///home/hadoop/input，表示从日志文件中提取的跟踪文件，输入 file:///home/hadoop/rumen/job-trace-1hr.json。

最后，遇到以下异常：

2019-03-07 16:37:12,495 ERROR [main] gridmix.Gridmix (Gridmix.java:start(534)) - Startup failed. java.io.IOException: Found no satisfactory file in file:/home//hadoop/input
2019-03-07 16:37:13,040 INFO  [main] util.ExitUtil (ExitUtil.java:terminate(124)) - Exiting with status 2
2019-03-07 16:37:13,041 INFO  [Thread-1] gridmix.Gridmix (Gridmix.java:run(657)) - Exiting...

那么这个参数是什么样的，或者如何使用呢？

任何人都可以有一些想法吗？

谢谢。

【问题讨论】：

如何<iopath> 喂食？

标签： mapreduce benchmarking hadoop2

【解决方案1】：

我发现这是我自己的错误用法；由于输入数据太少，我检查了 gridmix 参数的使用情况。

gridmix.min.file.size   |  The minimum size of the input files. The default limit is 128 MiB. Tweak this parameter if you see an error-message like "Found no satisfactory file" while testing GridMix with a relatively-small input data-set.

所以，我调整了更大的输入数据。使用 -generate 10G。

谢谢。

【讨论】：