如何在AWS S3中生成1 TB的TPC-DS基准测试数据?

问题描述 投票:3回答:1

我想直接在AWS S3中生成TPC-DS数据(1 TB和10 TB),而无需从本地计算机传输到s3。最简单的方法是什么?

amazon-web-services amazon-s3 benchmarking tpc
1个回答
0
投票

[我几个月前做了类似的工作,hive-testbench可以选择。检查README.md如何实现。

您需要将fs.defaultFS中的$HADOOP_HOME/etc/hadoop/core-site.xml配置到您的AWS S3存储桶,数据将直接在AWS中生成。将数据比例参数传递给./tpcds-setup.sh以生成不同比例的日期。

© www.soinside.com 2019 - 2024. All rights reserved.