如何在 AWS S3 中生成 1 TB 的 TPC-DS 基准测试数据？

【问题标题】：How to generate the TPC-DS benchmarking data 1 TB in AWS S3?如何在 AWS S3 中生成 1 TB 的 TPC-DS 基准测试数据？
【发布时间】：2018-12-06 03:22:07
【问题描述】：

我想直接在 AWS S3 中生成 TPC-DS 数据（1 TB 和 10 TB），而不是从本地机器传输到 s3。最简单的方法是什么？

【问题讨论】：

标签： amazon-web-services amazon-s3 benchmarking tpc

【解决方案1】：

几个月前我做过类似的工作，hive-testbench 可以是一个选项。查看README.md 了解如何实现。

您需要将$HADOOP_HOME/etc/hadoop/core-site.xml中的fs.defaultFS配置到您的AWS S3存储桶中，数据将直接在AWS中生成。
将数据比例参数传递给./tpcds-setup.sh 以生成不同比例的日期。

【讨论】：