作为并行复合上载，'gsutil compose'和'gsutil cp'有什么区别

Question

• gsutil compose和

  gsutil -o
  GSUtil:parallel_composite_upload_threshold=150M cp bigfile
  gs://your-bucket

  有什么区别？
• gsutil compose仅在我们有许多较小的源文件时才起作用吗？
• 我们将如何获得这些较小的文件？

Answer 1

合成操作

compose命令创建一个新对象，其内容为同一对象下给定序列的源对象的串联桶。

gsutil compose gs://your-bucket/file1.txt  gs://your-bucket/file2.txt gs://your-bucket/file3.txt

上面的命令会将file1.txt和file2.txt的内容连接到file3.txt中。大文件也可以串联，尽管单个gsutil compose命令最多只能处理32个文件。您需要预先指定并拥有这些文件。有关此here的更多信息。

并行复合上传

如果启用（请参见下文），则大文件将被拆分为组件并行上传然后在云中组成的片段（临时组件最终删除了）。最大尺寸每个组成部分由变量确定parallel_composite_upload_component_size。

gsutil -o GSUtil:parallel_composite_upload_threshold=150M cp bigfile gs://your-bucket

上面的命令最多将bigfile分割为32个片段，一旦上传，它们将被合成为一个片段，并删除临时文件，类似于撰写操作。有关此here的更多信息。

简而言之，第一个命令用于组成一个对象；然后将其拆分，上传片段，然后在Cloud Storage中进行组合。