gsutil数据复制过程中的parallel_thread_count选项。

Question

我的on-prem服务器上有5个文件，它们的总大小约为34GB。所有这些文件的大小都不同。我试图将这些文件复制到GCP Bucket上，我使用了以下命令。

gsutil -o "GSUtil:parallel_process_count=10" -o "GSUtil:parallel_thread_count=4" -o "GSUtil:parallel_composite_upload_threshold=500M" -m cp -r /landing/TgtFiles/ gs://bucket_name/landing/TgtFiles/

根据gsutil文档，因为parallel_thread_count被设置为4，所以这个命令一执行，4个文件的传输就应该开始。然而，在进度任务中，我可以看到文件正在一个一个地被复制。

下面是文件复制进度的截图。

谁能帮我理解一下，我如何才能开始并行复制4个文件，从而减少文件传输的时间。

Answer 1

我已经在window机器上进行了测试，使用下面的命令进行平行上传。

gsutil -o GSUtil:parallel_composite_upload_threshold=100M -m cp *.* gs://gcsbucket001

输出